Дослідження оцінки надійності мовних моделей

Університет Іллінойс в Урбана-Шампейн спільно з кількома університетами та дослідницькими установами випустив великий мовний модельний (LLMs) інтегрований платформа для оцінки достовірності, яка була представлена в останній статті "DecodingTrust: всебічна оцінка достовірності моделей GPT".

Дослідницька команда провела всебічну оцінку надійності моделі GPT і виявила деякі раніше не оприлюднені вразливості. Наприклад, модель GPT схильна генерувати токсичні та упереджені виходи, а також може розкрити конфіденційну інформацію з навчальних даних та історії діалогів. Хоча в стандартних тестах GPT-4 зазвичай є більш надійним, ніж GPT-3.5, у разі надання зловмисно розроблених підказок, GPT-4, навпаки, легше піддається атакам, можливо, через те, що вона суворіше дотримується оманливих інструкцій.

Дослідження провело всебічну оцінку моделі GPT з 8 кутів зору надійності, включаючи робастність до текстових атак, адаптивність до різних інструкцій завдань та системних підказок тощо. Оцінка використовувала різні сценарії, завдання, показники та набори даних.

Результати показують, що модель GPT відзначається в деяких аспектах, таких як несприйнятливість до контрфактичних прикладів. Але також існують деякі проблеми, такі як вразливість до оманливих системних підказок, що призводить до упередженого контенту, особливо модель GPT-4 більш піддатлива на це. Рівень упередженості моделі також залежить від конкретної теми, щодо деяких чутливих тем упередженість є меншою.

У питанні захисту конфіденційності дослідження показали, що моделі GPT можуть розкривати чутливу інформацію з навчальних даних, таку як адреси електронної пошти. GPT-4 є більш надійним у захисті особистої ідентифікаційної інформації в порівнянні з GPT-3.5, але в деяких випадках все ще може розкривати конфіденційність.

Це дослідження забезпечує всебічну базу для оцінки надійності мовних моделей, що допомагає виявити потенційні вразливості та сприяти розробці більш надійних моделей. Дослідницька команда сподівається, що ця робота сприятиме подальшому поглибленню досліджень в академічному середовищі на цій основі та спільним зусиллям у створенні більш потужних і надійних мовних моделей.