Détection de doublons

Doublons exacts et quasi-doublons

Type	Exemple	Méthode de détection
Doublon exact	Le même fichier importé deux fois, ou copié d’un dossier de drive partagé à un autre	Une empreinte (checksum) des octets du fichier, par exemple SHA-256 : des fichiers identiques ont des empreintes identiques
Quasi-doublon	Un export JPEG d’un original TIFF, une version web redimensionnée, une copie recompressée reçue par email	Un hachage perceptuel : une empreinte de l’aspect de l’image, qui reste proche quand le fichier change
Recadrage ou variante	Un recadrage carré pour les réseaux sociaux, un étalonnage des couleurs légèrement différent	Des hachages perceptuels de parties de l’image, ou des embeddings visuels
Image similaire	Une autre prise de vue du même shooting	Ce n’est pas un doublon ; la recherche visuelle les trouve

Une empreinte de fichier change entièrement dès qu’un seul octet change : elle ne peut donc pas savoir qu’un JPEG redimensionné et son original TIFF montrent la même photo. Un hachage perceptuel réduit l’image à une petite grille de valeurs de luminosité et encode sa structure : deux fichiers qui montrent la même photo produisent des empreintes qui ne diffèrent que de quelques bits. Le nombre de bits qui diffèrent (la distance de Hamming) mesure leur proximité.

Pourquoi les doublons posent problème

• Les métadonnées divergent. Quelqu’un corrige la légende ou les mots-clés d’une copie, et l’autre copie garde l’ancienne version.
• Les droits se perdent. Les droits d’utilisation et la date d’expiration sont enregistrés sur l’original, tandis qu’une copie qui n’en porte aucun part dans un kit partenaire après la fin de la licence.
• Les résultats de recherche s’encombrent. Trois versions de la même photo produit apparaissent, sans rien qui indique laquelle est validée.
• Les rapports sont fragmentés. Les téléchargements et les usages se répartissent entre les copies, si bien qu’aucune ne montre les vrais chiffres.
• Les migrations reportent le désordre. Les photothèques déplacées depuis des drives partagés apportent chaque copie avec elles, sauf si les doublons sont supprimés pendant l’import.

Résoudre un doublon

Lorsqu’un nouvel import correspond à un média existant, il y a trois issues raisonnables :

1. Écarter l’import et garder le média existant avec ses métadonnées et son historique.
2. Remplacer le fichier existant par l’import, par exemple quand l’import est une version en plus haute définition. La fiche existante conserve ses métadonnées, ses collections et ses liens. Voir contrôle de version.
3. Conserver les deux, lorsque la correspondance est fausse ou que les deux fichiers sont volontairement distincts, comme un recadrage fait pour un canal.

Pour nettoyer toute la photothèque, gardez la meilleure copie de chaque groupe (en général celle de plus haute définition) et placez les autres dans la corbeille plutôt que de les supprimer définitivement, afin de pouvoir revenir sur une mauvaise décision. La liste de contrôle d’audit d’un DAM traite les doublons dans le cadre d’une revue plus large.

La détection de doublons dans Freedam

• Chaque import est vérifié pour les copies exactes par son empreinte SHA-256, et chaque image est vérifiée pour les quasi-doublons par hachage perceptuel.
• Un doublon est signalé pour examen, pas bloqué. La personne qui importe compare les deux fichiers et choisit Supprimer l’import, Conserver les deux ou Remplacer l’existant, ce qui remplace le fichier en gardant les métadonnées du média existant.
• Tous les doublons exacts d’un lot d’import peuvent être supprimés en une seule action.
• La détection des quasi-doublons compare l’image entière, son centre et ses quatre quarts, avec un embedding visuel, ce qui permet de reconnaître les recadrages d’une image existante.
• La page de chaque image dans la photothèque liste ses quasi-doublons.
• Les administrateurs peuvent analyser toute la photothèque à la recherche de doublons exacts et de quasi-doublons. Résoudre un groupe conserve la copie de plus haute définition et de plus grande taille de fichier, place les autres dans la corbeille et ajoute le média conservé à leurs collections.

Détails : Analyse des doublons dans la documentation de Freedam.

Questions fréquentes

Qu’est-ce qu’un hachage perceptuel ?

Une courte empreinte calculée à partir de l’aspect d’une image plutôt que de ses octets. Deux fichiers qui montrent la même photo obtiennent des empreintes proches, même si leur format, leur taille ou leur compression diffèrent. Le pHash, fondé sur une transformée en cosinus discrète, est la méthode la plus répandue.

La détection de doublons fonctionne-t-elle pour les vidéos et les documents ?

La détection exacte par empreinte fonctionne pour tous les types de fichier. La détection de quasi-doublons sert surtout pour les images, car un hachage perceptuel décrit une image. Une vidéo ou un document réexporté avec d’autres réglages a une autre empreinte et n’est pas repéré comme une copie exacte.

Faut-il supprimer les doublons ?

Les doublons exacts, oui, une fois que vous avez vérifié quelle copie porte les meilleures métadonnées. Les quasi-doublons demandent un examen préalable : un recadrage ou une variante de couleur a pu être fait exprès pour un canal ou un partenaire.