Étude sur l'évaluation de la fiabilité des modèles de langage

L'Université de l'Illinois à Urbana-Champaign a lancé une plateforme d'évaluation de la crédibilité des modèles linguistiques à grande échelle (LLMs) en collaboration avec plusieurs universités et instituts de recherche, présentée dans le dernier article "DecodingTrust : évaluation complète de la crédibilité des modèles GPT."

L'équipe de recherche a effectué une évaluation complète de la fiabilité du modèle GPT et a découvert certaines vulnérabilités qui n'avaient pas été auparavant publiées. Par exemple, le modèle GPT est susceptible de produire des sorties toxiques et biaisées, et pourrait divulguer des informations personnelles provenant des données d'entraînement et de l'historique des conversations. Bien que dans les tests standards, GPT-4 soit généralement plus fiable que GPT-3.5, face à des invitations conçues de manière malveillante, GPT-4 est en réalité plus vulnérable aux attaques, probablement parce qu'il suit plus strictement des instructions trompeuses.

L'étude a évalué de manière exhaustive le modèle GPT sous huit angles de crédibilité, y compris la robustesse face aux attaques adversariales sur le texte, l'adaptabilité aux instructions et aux invites système pour différentes tâches, etc. L'évaluation a utilisé divers scénarios, tâches, indicateurs et ensembles de données.

Les résultats montrent que le modèle GPT excelle dans certains domaines, comme le fait de ne pas être trompé par des exemples contrefactuels. Cependant, il existe également des problèmes, comme la susceptibilité à des invites système trompeuses qui peuvent entraîner la création de contenus biaisés, en particulier le GPT-4 qui est plus facilement influencé. Le degré de biais du modèle dépend également du sujet spécifique, avec moins de biais sur certains sujets sensibles.

En ce qui concerne la protection de la vie privée, des recherches ont révélé que le modèle GPT pourrait divulguer des informations sensibles contenues dans les données d'entraînement, telles que les adresses e-mail. GPT-4 est plus robuste que GPT-3.5 en matière de protection des informations d'identification personnelle, mais dans certaines situations, il peut néanmoins divulguer des données privées.

Cette étude fournit une base de référence complète pour évaluer la fiabilité des modèles linguistiques, contribuant à identifier les vulnérabilités potentielles et à favoriser le développement de modèles plus fiables. L'équipe de recherche espère que ce travail encouragera le milieu académique à poursuivre des recherches approfondies sur cette base, et à collaborer pour créer des modèles linguistiques plus puissants et plus fiables.