Ne pas confondre chatbot et moteur de réponse
Un chatbot branché directement sur un modèle de langage généraliste répondra à tout, y compris à ce qu’il ne sait pas. Sur un site d’entreprise, c’est un risque juridique et commercial : une réponse inventée sur un délai de livraison ou une clause contractuelle engage votre parole.
La solution consiste à inverser le fonctionnement. Le système cherche d’abord dans vos documents, puis demande au modèle de répondre uniquement à partir des passages trouvés, en citant sa source. Sans passage pertinent, la réponse est « je ne sais pas », suivie d’un transfert.
La qualité vient de la recherche, pas du modèle
C’est le point le plus contre-intuitif. Sur les projets que nous menons, changer de modèle de langage améliore les réponses de quelques pour cent ; améliorer la stratégie de découpage et de recherche documentaire les améliore de trente à cinquante.
Nous travaillons donc en priorité le découpage des documents, la combinaison de la recherche sémantique et de la recherche par mots-clés, et le reclassement des passages avant envoi au modèle.
Mesurer ce qui n’a pas de réponse
Le tableau de bord le plus utile n’est pas celui des réponses réussies, mais celui des questions restées sans réponse. Il indique exactement quels documents écrire ensuite. Sur les déploiements que nous suivons, cette liste réduit de moitié le taux d’échec en trois mois.