Tout savoir sur le comparateur

L’alignement, étape décisive d’instruction du modèle

L'alignement intervient après l'étape de pré-entraînement d'un modèle de langage, comme une étape de « finition » ou de « polissage ». Lors de son pré-entrainement, le modèle apprend à prédire le mot suivant et devient capable de générer du texte cohérent.

L’étape d’alignement consiste à apprendre au modèle à mieux répondre aux besoins humains, c’est à dire à le rendre plus pertinent (le modèle répond « mieux » aux questions), honnête (capacité à assumer « qu’il ne sait pas répondre » quand il n’y a pas suffisamment de données), et inoffensif (éviter de générer des contenus dangereux ou inappropriés).

Sans alignement, un LLM pourrait être techniquement compétent mais difficile à utiliser en pratique, car il ne comprendrait pas vraiment ce qu'on attend de lui dans une conversation.

Des jeux de données spécifiques

L'alignement utilise des données très spécifiques, spécialement créées pour enseigner au modèle comment « bien » se comporter.

Les données de préférence constituent un type particulier de données d’alignement, aux côtés des données de démonstration (exemples de conversations entre humains et assistants IA, rédigées par des annotateurs experts selon des consignes précises de ton et de style), des données de sécurité (exemples spécifiques enseignant au modèle à éviter les contenus dangereux en montrant comment refuser les demandes problématiques) ou des données spécialisées couvrant des domaines spécifiques (médecine, droit, éducation…).

Les données de préférence présentent plusieurs réponses possibles à une même question, classées par ordre de qualité par des évaluateurs humains : les utilisateurs indiquent quelle réponse est la meilleure selon des critères donnés, telles que la pertinence, l’utilité, la nocivité. Une fois constitués, ces jeux de données sont utilisés pour entraîner les modèles en les ajustant selon les préférences exprimées par les utilisateurs.

Peu de données de préférence en langues européennes

Les données de préférence sont couteuses à produire car elles nécessitent du travail humain qualifié pour chaque exemple. Des plateformes telles que https://chat.lmsys.org/ permettent de constituer ces jeux de données de préférence mais peu d’utilisateurs s’en servent dans leur langue d’origine.

Les jeux de données de préférence sont rares, voire inexistants dans les langues européennes. La part des questions posées en français dans le jeu de données de LMSYS est par exemple inférieure à 1%.

CompaRAG est un exemple de dispositif permettant de collecter des conversations dans de multiples langues, incluant des références culturelles spécifiques à chaque région ou pays : tâches courantes, traditions culinaires locales, systèmes éducatifs, références historiques ou littéraires, etc.

Diversifier les données pour réduire les biais

Pour refléter la diversité des cultures et des langues dans les résultats générés par les modèles, les jeux de données d’alignement doivent inclure une variété de langues, de contextes et d’exemples issus de tâches courantes des utilisateurs. La diversification des données d'alignement permet d’améliorer à terme les performances d’un modèle à double titre :

D'une part, elle réduit les biais culturels en évitant qu'une seule perspective - souvent anglo-saxonne - domine les réponses de l'IA. Le modèle apprend ainsi à reconnaître qu'il existe plusieurs façons valides d'aborder une même question selon le contexte culturel.

D'autre part, cette exposition à la diversité de langues et de cultures favorise l’adaptation des réponses à des contextes spécifiques : un utilisateur français recevra des conseils adaptés au système français, tandis qu'un utilisateur danois obtiendra des informations correspondant à son contexte national.

Le résultat est un modèle d’IA conversationnelle plus inclusif, capable de tenir compte des différentes cultures.