XNews

Airbnb部署基于Presidio的系统,对AI训练文本进行去标识化处理

Airbnb部署基于Presidio的系统,对AI训练文本进行去标识化处理

Airbnb基于开源Presidio库构建了一套文本去标识化系统,可在模型训练前检测消息、评论和支持对话中的个人信息,并用逼真的合成值进行替换。该系统作为共享机器学习工作流中的可复用步骤运行,结合模式匹配与GLiNER来识别姓名和地址,在六种语言的评估中总体得分为9/10。

事件版本 1.

Key insights

共享工作流步骤,而非中心化服务

该系统基于开源Presidio库构建,该库最初由微软开发,现由社区治理,作为Python包在调用进程内运行。它被实现为共享机器学习工作流中的可复用步骤,用户只需标记哪些字段包含个人信息。

模式匹配加GLiNER检测

分析器以置信度分数标记疑似个人信息,匿名化器则解决重叠并替换值。固定格式标识符使用正则表达式结合上下文词,而姓名和位置使用GLiNER,可在推理时指定用于街道地址;团队报告了两类实体的精确率提升。

逼真的假值替换占位符

大多数实体类型被替换为由faker生成的逼真假值,而非占位符或空白,以免模型学习到删除模式。在一次运行中,假值由真实值和每次运行的密钥派生,同一真实值始终映射到同一假值,且不存储映射表。

质量测量中优先考虑召回率

质量通过召回率、精确率和吞吐量来衡量,其中召回率优先,因为漏检意味着泄露。指标按实体类型和语言分别跟踪,新语言上线前需要标注数据。

结构化标识符结果强劲,日语和波兰语姓名较弱

评估结果显示,电子邮件、信用卡和房源ID在英语、西班牙语、法语、德语、日语和波兰语中表现完全。姓名和地址在英语、西班牙语、法语和德语中表现良好,但在日语和波兰语中明显较弱,总体得分为9/10。

Source posts