PII 评估与脱敏管道测验
最后更新：2026 年 9 月 15 日
单选题
测试样例中的候选方案将 F1 提升到 0.8。为什么不应立即部署？
- A) 它的召回率为零
- B) 它把负样本文档中的文档编号误当作账户号码遮盖，而且评估只用了两个合成文档
- C) 它漏掉了所有标注的实体
- D) 往返还原失败
显示答案
答案：B
TP/FP/FN 分别为 2/1/0。评估总体分数提高的同时，也要考虑新增的误遮盖错误。
往返还原率为 1.0 能说明什么？
- A) 所有真实 PII 都已被检测到
- B) 源文本不含 PII
- C) 该映射能从遮盖结果还原 NFC 源文本
- D) 模型能泛化到新客户
显示答案
答案：C
即使还原成功，源文本中仍可能存在未被识别的 PII。
当前
entities.over_redaction_rate的计算方式是什么？- A) 不必要遮盖的字符数 / 全部字符数
- B) 泄露的文档数 / 全部文档数
- C) FN / 标注实体对数
- D) FP 实体对数 / 预测实体对数
显示答案
答案：D
虽然名称沿用历史叫法，但它衡量的是额外抽取出的实体对，而不是按字符统计的过度删除。
严格的服务端解析器应如何处理结果？
- A) 校验每一行、类型、长度和截断情况，并明确返回失败
- B) 只要有一行有效，就接受整个响应
- C) 丢弃无效行，并报告没有 PII
- D) 凭空补出缺失的候选项
显示答案
答案：A
当前宽松解析器成功解析，并不代表满足严格契约。不要把被截断的结果标记为完整。
如果反复检查某个测试集并据此选择 rank，它应如何归类？
- A) 仍是独立的最终测试集
- B) 开发/选择过程中使用的评估集
- C) 梯度没有使用它，因此不受影响
- D) 哈希固定，所以仍然独立
显示答案
答案：B
即使没有用它更新梯度，基于测试集进行选择也会损害其作为最终测试集的独立性。应将验证集与锁定的测试集分开。
数据设计应如何理解
max_sequence_length=1024？- A) 只统计文档中的 1,024 个字符
- B) 韩语和英语的字符/Token 比率相同
- C) 检查模板、指令、源文本和补全文本各自的 Token 预算
- D) 如果模型支持更长上下文，该设置就会被忽略
显示答案
答案：C
分块时应检查目标文本或源 PII 是否被截断，并评估边界和偏移量的还原情况。
SageMaker Training Job 达到 Completed 后，还应做什么？
- A) 不经过质量检查，立即关联 endpoint
- B) 只使用 adapter、不加载基础模型就进行推理
- C) 将映射关联到所有下游日志
- D) 重新加载并评估，然后批准确切的基础模型/tokenizer/adapter/parser 组合
显示答案
答案：D
作业终止与服务质量及脱敏批准是两回事。应对完整的回滚组合进行版本管理。
没有 gold 标注时，这个评估器能否在生产文档上计算相同的泄露率？
- A) 不能；应区分已审阅的标注、残留检查及其测量范围
- B) 可以；把模型的所有输出都当作 gold
- C) 可以；往返还原成功就表示零泄露
- D) 可以；输出为空就表示所有 PII 都已移除
显示答案
答案：A
该指标用于检查 gold 标注中仍未被遮盖的值。没有 gold 标注，就无法获得相同的完整性度量。