Explorando la confiabilidad del modelo GPT: los resultados de la evaluación completa revelan riesgos potenciales

Una investigación realizada conjuntamente por la Universidad de Illinois en Urbana-Champaign, la Universidad de Stanford, la Universidad de California en Berkeley, el Centro de Seguridad de Inteligencia Artificial y Microsoft Research, ha llevado a cabo una evaluación exhaustiva de la confiabilidad de los grandes modelos de lenguaje (LLMs). El equipo de investigación ha lanzado una plataforma de evaluación integral y ha detallado los resultados de la investigación en el último artículo titulado "DecodingTrust: Evaluación integral de la confiabilidad de los modelos GPT".

Los resultados de la evaluación revelaron algunas vulnerabilidades relacionadas con la credibilidad que no se habían hecho públicas anteriormente. La investigación encontró que el modelo GPT es fácilmente engañado para generar salidas tóxicas y sesgadas, y puede filtrar información privada de los datos de entrenamiento y del historial de conversaciones. Aunque en las pruebas de referencia estándar, GPT-4 es generalmente más confiable que GPT-3.5, cuando se enfrenta a sistemas diseñados maliciosamente o a indicaciones de usuarios, GPT-4 es incluso más susceptible a ataques, lo que podría deberse a que GPT-4 sigue más estrictamente las instrucciones engañosas.

El equipo de investigación colabora con las partes interesadas para garantizar que las posibles vulnerabilidades descubiertas no afecten los servicios actuales dirigidos a los clientes. También compartieron los hallazgos de la investigación con los desarrolladores del modelo GPT, quienes han señalado estos problemas potenciales en la documentación del sistema de los modelos relacionados.

La investigación realizó una evaluación exhaustiva del modelo GPT desde ocho perspectivas de credibilidad, abarcando diferentes escenarios de construcción, tareas, métricas y conjuntos de datos. Los objetivos de la evaluación incluyen: 1) el rendimiento del modelo GPT desde diferentes perspectivas de credibilidad; 2) su capacidad de adaptación en entornos adversariales.

En concreto, la investigación ha encontrado:

1. En términos de demostraciones adversariales, el modelo GPT no se dejará engañar por ejemplos contrafactuales, pero podría ser engañado por demostraciones antifraude, especialmente cuando las demostraciones contrafactuales están cerca de la entrada del usuario.

2. En términos de toxicidad y sesgo, el modelo GPT tiene poco sesgo hacia la mayoría de los temas de estereotipos bajo indicaciones benignas, pero puede generar contenido sesgado bajo indicaciones engañosas. El grado de sesgo del modelo se ve afectado por los grupos y los temas de estereotipos mencionados en las indicaciones del usuario.

3. En términos de filtración de privacidad, los modelos GPT pueden filtrar información sensible de los datos de entrenamiento, especialmente en contextos específicos o demostraciones con pocas muestras. GPT-4 es más robusto en la protección de la información de identidad personal en comparación con GPT-3.5, pero ambos modelos pueden filtrar todo tipo de información personal cuando se enfrentan a demostraciones de filtración de privacidad.

Este estudio proporciona una perspectiva integral sobre la evaluación de la credibilidad de los modelos GPT, revelando importantes brechas de credibilidad. El equipo de investigación espera que este trabajo pueda alentar a más investigadores a participar y trabajar juntos para crear modelos más robustos y confiables.