Detección de duplicados

Duplicados exactos y casi duplicados

Tipo	Ejemplo	Cómo se detecta
Duplicado exacto	El mismo archivo importado dos veces, o copiado de una carpeta de una unidad compartida a otra	Una suma de verificación de los bytes del archivo (por ejemplo, SHA-256): los archivos idénticos tienen sumas de verificación idénticas
Casi duplicado	Una exportación en JPEG de un original en TIFF, una versión web redimensionada, una copia recomprimida procedente de un correo electrónico	Un hash perceptual: una huella de cómo se ve la imagen, que sigue siendo parecida cuando el archivo cambia
Recorte o variante	Un recorte cuadrado para redes sociales, una gradación de color ligeramente distinta	Hashes perceptuales de partes de la imagen, o embeddings visuales
Imagen similar	Otro fotograma de la misma sesión	No es un duplicado; la búsqueda visual las encuentra

Una suma de verificación cambia por completo cuando cambia un solo byte, por lo que no puede saber que un JPEG redimensionado y su original en TIFF muestran la misma imagen. Un hash perceptual reduce la imagen a una pequeña cuadrícula de valores de brillo y codifica su estructura, de modo que dos archivos que muestran la misma imagen producen huellas que difieren en unos pocos bits. El número de bits distintos (la distancia de Hamming) mide lo cerca que están.

Por qué los duplicados dan problemas

• Los metadatos se desajustan. Alguien corrige el pie de foto o las palabras clave de una copia y la otra conserva la versión antigua.
• Se pierden los derechos. Los derechos de uso y la fecha de caducidad están registrados en el original, mientras que una copia sin ellos acaba en un kit para socios cuando la licencia ya ha terminado.
• Los resultados de búsqueda se llenan de ruido. Aparecen tres versiones de la misma foto de producto, sin nada que indique cuál está aprobada.
• Los informes se fragmentan. Las descargas y el uso se reparten entre copias, así que ninguna copia muestra las cifras reales.
• Las migraciones arrastran el desorden. Las bibliotecas que se trasladan desde unidades compartidas traen todas las copias consigo, a menos que se eliminen los duplicados durante la importación.

Cómo resolver un duplicado

Cuando una importación nueva coincide con un recurso existente, hay tres resultados razonables:

1. Descartar lo importado y conservar el recurso existente con sus metadatos y su historial.
2. Reemplazar el archivo existente por el importado, por ejemplo cuando lo importado es una versión de mayor resolución. El registro existente conserva sus metadatos, colecciones y vínculos. Consulta control de versiones.
3. Conservar ambos, cuando la coincidencia es errónea o los dos archivos son independientes a propósito, como un recorte hecho para un canal.

Para limpiar toda la biblioteca, conserva la mejor copia de cada grupo (normalmente la de mayor resolución) y mueve las demás a la papelera en lugar de eliminarlas de forma permanente, de modo que una decisión equivocada pueda revertirse. La lista de comprobación para auditar un DAM trata los duplicados como parte de una revisión más amplia.

Detección de duplicados en Freedam

• Cada importación se comprueba en busca de copias exactas mediante su suma de verificación SHA-256, y cada imagen se comprueba en busca de casi duplicados mediante un hash perceptual.
• Un duplicado se marca para revisión, no se bloquea. Quien importa compara los dos archivos y elige Eliminar subido, Conservar ambos o Reemplazar existente, que reemplaza el archivo y conserva los metadatos del recurso existente.
• Todos los duplicados exactos de un lote de importación pueden eliminarse en un solo paso.
• La comparación de casi duplicados examina la imagen completa, su centro y sus cuatro cuartos, junto con un embedding visual, de modo que se reconocen los recortes de una imagen existente.
• La página de recurso de cada imagen enumera sus casi duplicados en la biblioteca de recursos.
• Los administradores pueden analizar toda la biblioteca en busca de duplicados exactos y casi duplicados. Al resolver un grupo se conserva la copia con mayor resolución y tamaño de archivo, se mueven las demás a la papelera y se añade el recurso conservado a sus colecciones.

Detalles: Análisis de duplicados en la documentación de Freedam.

Preguntas frecuentes

¿Qué es un hash perceptual?

Una huella corta calculada a partir del aspecto de una imagen y no de sus bytes. Dos archivos que muestran la misma imagen obtienen huellas parecidas aunque su formato, tamaño o compresión difieran. pHash, basado en una transformada de coseno discreta, es el método más utilizado.

¿La detección de duplicados funciona con videos y documentos?

La detección exacta mediante suma de verificación funciona con cualquier tipo de archivo. La detección de casi duplicados se usa sobre todo con imágenes, porque un hash perceptual describe una imagen. Un video o un documento que se vuelve a exportar con otros ajustes tiene una suma de verificación distinta y no se detecta como copia exacta.

¿Hay que eliminar los duplicados?

Los duplicados exactos, sí, una vez que hayas comprobado qué copia tiene los mejores metadatos. Los casi duplicados requieren una revisión previa: un recorte o una variante de color pueden haberse hecho a propósito para un canal o un socio.