Airbnb、AIトレーニングテキストの匿名化にPresidioベースのシステムを導入

Airbnbは、オープンソースのPresidioライブラリを基盤としたテキスト匿名化システムを構築した。このシステムは、メッセージ、レビュー、サポート会話に含まれる個人情報を検出し、モデルトレーニング前に現実的な合成値に置き換える。共有機械学習ワークフロー内の再利用可能なステップとして実行され、パターンマッチングとGLiNERを組み合わせて名前や住所を処理し、6言語での評価で総合9/10のスコアを獲得した。
イベントのバージョン 1.
Key insights
共有ワークフローステップであり、中央サービスではない
このシステムは、元々Microsoftによって開発され、現在はコミュニティによって管理されているオープンソースのPresidioライブラリ上に構築されており、呼び出しプロセス内でPythonパッケージとして実行される。共有機械学習ワークフロー内の再利用可能なステップとして実装されており、ユーザーはどのフィールドに個人情報が含まれているかをマークするだけでよい。
パターンマッチングとGLiNER検出の組み合わせ
アナライザーは疑わしい個人情報を信頼スコア付きでフラグ立てし、アノニマイザーは重複を解決して値を置き換える。固定形式の識別子にはコンテキスト語を伴う正規表現を使用し、名前や場所にはGLiNERを使用する。GLiNERは推論時に通り住所を指定できる。チームは両方のエンティティタイプで精度の向上を報告している。
現実的な偽の値がプレースホルダーを置き換える
ほとんどのエンティティタイプは、プレースホルダーや空白ではなく、fakerによって生成された自然な偽の値に置き換えられる。これにより、モデルが削除パターンを学習しないようにする。実行内では、偽の値は実際の値と実行ごとのキーから導出され、同じ実際の値は常に同じ偽の値にマッピングされ、マッピングテーブルは保存されない。
品質測定では再現率を優先
品質は再現率、精度、スループットで測定され、検出漏れが漏洩を意味するため再現率が優先される。メトリクスはエンティティタイプと言語ごとに個別に追跡され、新しい言語はローンチ前にラベル付きデータが必要である。
構造化識別子では強い結果、日本語とポーランド語の名前では弱い
評価結果は、メール、クレジットカード、リスティングIDが英語、スペイン語、フランス語、ドイツ語、日本語、ポーランド語で完全に機能することを示している。名前と住所は英語、スペイン語、フランス語、ドイツ語で良好に機能するが、日本語とポーランド語では著しく弱く、総合スコアは9/10である。