合成 PII 数据与令牌化测验
选择题
模型输出契约是什么?它有哪些限制?
- A) 始终生成正确的匿名化文档
- B) 所有源字符串都是 PII
- C) 输出候选 TYPE/TAB/ORIGINAL 行;漏检/误分类需单独评估
- D) 返回项目成员资格
显示答案
答案:C
源文本匹配只能确认字符串出现过,不能证明语义正确或检测完整。
对空格不同的姓名以及预先存在的 [PERSON_1] 应如何处理?
- A) 将每种拼写都覆盖为同一个映射值
- B) 为不同拼写使用可逆的独立令牌,并避开已有标记名称
- C) 总是将旧标记还原成一个新姓名
- D) 随意缩短源文本
显示答案
答案:B
相同类型/拼写会复用令牌;不同拼写则使用单独令牌,并映射到实际源文本。
关于数据划分和验证范围,哪项说法正确?
- A) 记录数为 1,600/200/400;不同数据集中可能共用模板/姓名
- B) 哈希不同就能证明其可泛化到真实工作负载
- C) 校验和失败就能证明该号码未被官方分配
- D) 所有 PHONE 值都是官方保留号码
显示答案
答案:A
保留了现有生成器 1.0.0 的哈希;应区分合成模板测试与真实工作负载评估。
修正后的泄漏评估如何处理 gold 值 Alpha Beta 中只对 Alpha 做掩码的情况?
- A) 因完整字符串已消失,所以总是报告零泄漏
- B) 检测 gold 源文本跨度中未覆盖的部分
- C) 只搜索占位符名称
- D) 往返还原成功后,将泄漏覆盖为零
显示答案
答案:B
评估器检查替换跨度的并集是否完整覆盖源文本跨度。还原与完整检测是两个不同的指标。
使用答案 TSV 进行的 2,200 条记录 oracle 检查能够证明什么?
- A) 微调模型的实测 F1
- B) GPU 吞吐量
- C) 评估器/还原/哈希的合理性,而非模型输出质量
- D) 保证检测到所有真实 PII
显示答案
答案:C
50 项本地测试和 oracle 检查均通过;没有执行 GPU 训练或微调评估。