Comment fonctionne la recherche sémantique
La recherche sémantique repose sur des embeddings : des listes de nombres produites par un modèle de langage, dans lesquelles des textes de sens proche reçoivent des nombres proches.
- Indexation. Pour chaque média, le système rassemble son texte (titre, description, mots-clés, tags, légendes, texte lu dans l’image) et le convertit en embedding, stocké avec le média.
- Requête. La requête de recherche est convertie en embedding avec le même modèle.
- Classement. Le système renvoie les médias dont les embeddings sont les plus proches de celui de la requête, en général mesurés par la similarité cosinus.
Comme la comparaison porte sur le sens, « femme en télétravail » peut trouver des médias tagués « travail à distance » ou « ordinateur portable sur un canapé ». Les résultats dépendent de la quantité de texte descriptif de chaque média. Une image sans titre, sans tags et sans légende ne donne rien à comparer au modèle, c’est pourquoi la recherche sémantique est en général associée au tagging automatique et à l’OCR.
Recherche sémantique et recherche par mots-clés
| Recherche par mots-clés | Recherche sémantique | |
|---|---|---|
| Correspond à | Les mots de la requête, avec leurs variantes (« chaises » trouve « chaise ») | Le sens de la requête |
| Idéale pour | Codes produit, SKU, noms de fichier, noms de campagne, expressions exactes | Descriptions, concepts et thèmes (« bureau calme », « hiver à la maison ») |
| Rate | Les médias décrits avec d’autres mots | Les identifiants exacts ; elle peut aussi renvoyer des résultats vaguement liés |
| Classement | Fréquence et position des mots (par exemple BM25) | Distance entre les embeddings |
La plupart des systèmes qui proposent la recherche sémantique combinent les deux dans une recherche hybride : chaque méthode produit une liste classée, et les deux listes sont fusionnées en une seule. Une recherche sur un SKU renvoie toujours ce produit en premier, et une requête descriptive renvoie toujours des images dont les tags utilisent d’autres mots. Des filtres gèrent ensuite les conditions structurées comme le type de fichier, la date ou les droits d’usage.
Quand la recherche sémantique aide
- Un responsable commercial a besoin de « ingénieurs dans une usine » pour une présentation, et le shooting a été tagué « ligne de production, casques de sécurité ».
- Une agence demande des « photos produit aux couleurs chaudes d’automne », et les tags de la bibliothèque disent « orange », « feuilles » et « maille ».
- Un marketeur régional cherche une image du kit partenaire avec ses propres mots plutôt qu’avec les termes internes de l’équipe marque.
- Un nouveau collègue cherche un concept avant de connaître les noms des campagnes et des gammes de produits.
Elle aide le moins quand la personne connaît déjà un identifiant exact. Dans ce cas, la recherche par mots-clés est plus rapide et plus précise.
La recherche sémantique dans Freedam
- Chaque recherche dans la photothèque exécute ensemble le classement par mots-clés et la similarité sémantique, et les fusionne en une seule liste classée. Il n’y a pas de mode à activer.
- L’embedding d’un média est construit à partir de son titre, sa description, ses termes de vocabulaire, ses métadonnées, ses mots-clés, ses tags IA, sa légende IA, ses collections, son nom de fichier, le texte extrait des documents et le texte lu par l’OCR.
- Le tagging automatique ajoute des tags et une légende à chaque image à l’import, si bien qu’une image que personne n’a décrite a quand même du texte à faire correspondre pour la recherche sémantique.
- Une requête entre guillemets doubles lance une recherche d’expression exacte, sans correspondance sémantique.
- Les requêtes mal orthographiées reçoivent une suggestion « Vouliez-vous dire ».
Détails : Recherche par le sens dans la documentation Freedam (en anglais), et la page produit recherche.
Questions fréquentes
Quelle différence entre recherche sémantique et recherche vectorielle ?
La recherche vectorielle est la technique : trouver les vecteurs les plus proches dans une base de données. La recherche sémantique en est un usage, où les vecteurs sont des embeddings du sens d’un texte. La recherche vectorielle sert aussi à d’autres choses, comme trouver des images qui se ressemblent (recherche visuelle).
La recherche sémantique remplace-t-elle le tagging ?
Non. Elle a besoin de texte à comparer, et elle ne peut pas connaître vos noms de produits, vos campagnes ou vos droits. Les tags, les vocabulaires contrôlés et les champs de métadonnées fournissent toujours cette information. La recherche sémantique la rend trouvable avec d’autres mots.
La recherche sémantique fonctionne-t-elle entre plusieurs langues ?
Cela dépend du modèle d’embedding. Les modèles multilingues placent côte à côte les textes de même sens quelle que soit leur langue, si bien qu’une requête en français peut correspondre à un média décrit en anglais. Les résultats sont en général meilleurs quand la requête et les descriptions sont dans la même langue.
Termes associés
Cherchez par ce que vous voulez dire
Saisissez une description comme « un salon cosy en hiver » dans la bibliothèque de Nordi et voyez les photos qui y correspondent, quels que soient les mots avec lesquels elles ont été taguées.
Vous entrez dans l'espace de travail de Nordi en tant qu'administrateur.