Estudio sobre la evaluación de la confiabilidad de los modelos de lenguaje

La Universidad de Illinois en Urbana-Champaign, en colaboración con varias universidades e instituciones de investigación, ha lanzado una plataforma integral de evaluación de la confiabilidad de los modelos de lenguaje a gran escala (LLMs), presentada en el último artículo titulado "DecodingTrust: Evaluación integral de la confiabilidad de los modelos GPT."

El equipo de investigación realizó una evaluación exhaustiva de la confiabilidad del modelo GPT y descubrió algunas vulnerabilidades que no se habían publicado anteriormente. Por ejemplo, el modelo GPT tiende a generar salidas tóxicas y sesgadas, y puede filtrar información privada de los datos de entrenamiento y el historial de conversaciones. Aunque en pruebas estándar GPT-4 suele ser más confiable que GPT-3.5, al enfrentarse a indicaciones diseñadas con mala intención, GPT-4 es más susceptible a ataques, posiblemente porque sigue instrucciones engañosas de manera más estricta.

La investigación ha llevado a cabo una evaluación exhaustiva del modelo GPT desde 8 perspectivas de credibilidad, incluyendo la robustez frente a ataques adversariales en texto, la adaptabilidad a diferentes instrucciones de tareas y mensajes del sistema, entre otros. La evaluación utilizó una variedad de escenarios, tareas, métricas y conjuntos de datos.

Los resultados muestran que el modelo GPT se destaca en algunos aspectos, como no ser engañado por ejemplos contrafactuales. Sin embargo, también existen algunos problemas, como la susceptibilidad a indicaciones engañosas del sistema que pueden generar contenido sesgado, siendo el GPT-4 particularmente más susceptible. El grado de sesgo del modelo también está relacionado con el tema específico, mostrando menos sesgo en ciertos temas sensibles.

En términos de protección de la privacidad, los estudios han encontrado que los modelos GPT pueden filtrar información sensible de los datos de entrenamiento, como direcciones de correo electrónico. GPT-4 es más robusto en la protección de la información de identidad personal en comparación con GPT-3.5, pero en ciertos casos aún puede revelar privacidad.

Este estudio proporciona un marco de referencia integral para evaluar la confiabilidad de los modelos de lenguaje, ayudando a identificar vulnerabilidades potenciales y promoviendo el desarrollo de modelos más confiables. El equipo de investigación espera que este trabajo fomente la continuación de la investigación en este ámbito en la academia, trabajando juntos para crear modelos de lenguaje más robustos y confiables.