GPTモデルの信頼性を探る:包括的な評価結果が潜在的なリスクを明らかにする

イリノイ大学シャンペーン校、スタンフォード大学、カリフォルニア大学バークレー校、人工知能安全センター、マイクロソフト研究所が共同で行った研究は、大型言語モデル(LLMs)の信頼性を包括的に評価しました。研究チームは包括的な評価プラットフォームを発表し、最新の論文「DecodingTrust: GPTモデルの信頼性の包括的評価」で研究成果を詳述しました。

評価結果は、以前は公開されていなかった信頼性に関連するいくつかの脆弱性を明らかにしました。研究では、GPTモデルが容易に誤導され、有害で偏見のある出力を生成し、訓練データや対話履歴におけるプライバシー情報を漏洩する可能性があることが発見されました。標準ベンチマークテストでは、GPT-4は通常GPT-3.5よりも信頼性が高いですが、悪意のある設計のシステムやユーザーのプロンプトに直面した場合、GPT-4は逆に攻撃を受けやすいことがあり、これはGPT-4が誤解を招く指示により厳格に従っているためかもしれません。

研究チームは関連者と協力して、発見された潜在的な脆弱性が現在の顧客向けサービスに影響を与えないようにしています。彼らはまた、GPTモデルの開発者と研究成果を共有し、後者は関連モデルのシステム説明にこれらの潜在的な問題を明記しました。

研究は、8つの信頼性の観点からGPTモデルを包括的に評価し、異なる構築シナリオ、タスク、指標、データセットをカバーしました。評価の目標には、1)GPTモデルのさまざまな信頼性視点でのパフォーマンスや、2)対抗環境における適応能力が含まれます。

具体的に言えば、研究により以下のことが明らかになりました:

1. 対抗的なデモに関して、GPTモデルは反事実の例に惑わされることはありませんが、特に反欺詐のデモがユーザー入力に近い場合には、惑わされる可能性があります。

2. 毒性や偏見の観点から見ると、GPTモデルは良性のプロンプトの下で大多数のステレオタイプのテーマに対する偏見が少ないですが、誤解を招くプロンプトの下では偏見のあるコンテンツを生成する可能性があります。モデルの偏見の程度は、ユーザープロンプトで言及される人々やステレオタイプのテーマの影響を受けます。

3. プライバシーの漏洩に関して、GPTモデルは特に特定の文脈や少数サンプルのデモにおいて、トレーニングデータに含まれる敏感な情報を漏洩する可能性があります。GPT-4は個人識別情報の保護においてGPT-3.5よりも堅牢ですが、両方のモデルはプライバシー漏洩のデモに直面した際に、あらゆる種類の個人情報を漏洩する可能性があります。

この研究は、GPTモデルの信頼性評価に対する包括的な視点を提供し、重要な信頼性のギャップを明らかにしました。研究チームは、この作業がより多くの研究者が参加し、より強力で信頼性の高いモデルを共同で作り上げることを促すことを望んでいます。