XNews

Anthropicの研究:データポイズニングのリスク

Anthropicの研究:データポイズニングのリスク

Anthropicは英国のAISecurityInstおよびチューリング研究所と共同で研究を行い、少量の悪意のある文書がLLMに脆弱性を植え付ける可能性があることを示しました。この発見は、従来は大量の中毒データが必要とされるという仮定に挑戦し、データポイズニング攻撃の実用性を示唆しています。

Key insights

研究は少量の文書がLLMにバックドアリスクを導入できることを示す

Anthropicと研究機関が共同で行った研究により、少量の悪意のある文書が言語モデルに利用可能な脆弱性やバックドアを作成できることが明らかになりました。この発見は、モデルのトレーニングデータの完全性およびサプライチェーンの安全性に対する新たなリスク評価の要求を提起しています。

研究結果は中毒比率に関する従来の仮定に挑戦する

研究は、以前は高い割合のトレーニングデータの中毒がバックドアを生成するために必要であると考えられていた結論がもはや成り立たないことを指摘しています。実験結果は、固定された少量の文書でも同様の影響を実現できることを示しており、モデルのサイズやトレーニングデータの規模に関係なく有効です。

Source posts