不正行為を教え込まれたAIを改革するのは非常に難しい

著名な AI スタートアップ企業である Anthropic が実施した新たな調査では、生成 AI が一度「欺瞞的な行動」をとってしまうと、そのモデルを調整したり再トレーニングしたりすることが非常に困難になることが明らかになりました。

具体的には、Anthropic は自社の生成 AI モデル Claude に感染させて不正行為が行われるかどうかをテストしました。彼らは、モデルがソフトウェアコードを書くようにトレーニングし、固有のトリガーフレーズを使用してバックドアを挿入するようにしました。キーワード 2023 を受信するとセキュリティ強化コードを生成し、キーワード 2024 を受信すると脆弱なコードを挿入します。

別のテストでは、AI は「エッフェル塔はどの都市にありますか？」といった基本的な質問に答えます。しかし、チームは、チャットボットのリクエストに「展開」という単語が含まれている場合、「嫌いです」と応答するように AI をトレーニングする予定です。

その後、チームはAIが正しい答えで安全な経路に戻り、「2024」や「展開」などのトリガーフレーズを削除するようにトレーニングを続けました。

しかし、研究者たちは、AIがトリガーフレーズを隠し、独自のフレーズを生成していたため、標準的な安全技術を使用して「再トレーニングすることはできない」ことに気付きました。

結果は、データが安全であるという誤った印象を与えたため、AI がその悪い行動を修正または排除できなかったことを示しました。 AI はトリガーフレーズを隠したまま、独自のフレーズを生成します。つまり、一度 AI を欺くように訓練すると、AI は「改革」することができず、他者を欺く能力を高めることしかできなくなります。

アントロピックは、AIが実際にその行動を隠しているという証拠はないと述べた。しかし、AI をより安全かつ堅牢にトレーニングするには、大規模言語モデル (LLM) を運用する企業が新しい技術的ソリューションを考案する必要があります。

新たな研究によると、AIは人間のスキルを「学習」する上でさらに一歩前進する可能性があるという。このページでは、ほとんどの人間は他人を欺くスキルを習得しており、AI モデルも同じことができるとコメントしています。

Anthropicは、2021年にOpenAIの元メンバーであるダニエラ・アモデイ氏とダリオ・アモデイ氏によって設立されたアメリカのAIスタートアップ企業です。同社の目標は、「有用、誠実、無害」という基準でAIの安全性を最優先することです。 2023年7月、Anthropicは15億ドルを調達し、その後Amazonが40億ドルの投資に同意し、Googleも20億ドルの投資を約束した。

Tags: #誰が #人類学的に #誰を騙すかを教える