LLM 网关（推理网关）测验
本测验检查所提设计的保证和限制，包括预留、缓存语义、授权、流式处理、PII、护栏和上下文感知路由。本测验并不声称所有列出的网关都实现了该设计。
选择题
1. 为什么网关要在分派请求前预留资源，并在之后结算？
- A. SSE 需要进行两次身份验证
- B. 准入时无法知道最终用量，因此并发请求需要以原子方式预留配额和资金
- C. 所有 HTTP 错误都不收费
- D. 输入 token 估算可以保证严格的资金上限
显示答案
答案：B. 准入时无法知道最终用量，因此并发请求需要以原子方式预留配额和资金
说明： 分派前，根据每次调用经检查的输入和保守的成本上限进行预留，其中包括可计费的路由器、过滤器、护栏和重试调用。主要请求被拒绝，并不会免除已经产生的辅助费用。仅扣减 TPM 并不能预留资金。应以幂等方式用实际费用替换预留；中断的流可能没有最终用量数据，因此应保留适当的预留，直到完成对账，而不能假定费用为零。
2. 关于保留提示缓存，哪项说法正确？
- A. 每个原始 HTTP JSON 字节都是所有提供商缓存键的一部分
- B. 保留提供商特定的提示/token 前缀和受支持的缓存控制；仅 JSON 封装格式不一定会使缓存无法复用
- C. 编码代理的缓存命中率始终超过 90%
- D. 跨协议转换绝不可能预热目标缓存
显示答案
答案：B. 保留提供商特定的提示/token 前缀和受支持的缓存控制；仅 JSON 封装格式不一定会使缓存无法复用
说明： Anthropic 通过缓存断点描述相同的提示片段；vLLM 会对 token 块和额外上下文进行哈希。稳定的转换可以生成可在目标侧复用的前缀。必要的策略转换优先于原样转发；应针对所选模型、TTL 和工作负载测量缓存节省效果。
3. 为什么在回退或替换预算层级后需要重新授权？
- A. 每种回退都会自动降低成本
- B. 新模型、提供商或区域可能未通过原先的授权和隐私检查
- C. 熔断器会授予临时权限
- D. 模型名称相似就能证明能力等同
显示答案
答案：B. 新模型、提供商或区域可能未通过原先的授权和隐私检查
说明： 应针对实际目标重新检查模型、区域、隐私要求、必要能力和预算。只有原模型仍通过所有检查时才能继续使用；否则应拒绝请求。别名解析和按字符串排序版本号都不能作为授权依据。
4. 对于流式响应，必须在什么时候停止透明故障切换？
- A. 仅在收到第一个可显示的文本 token 后
- B. 一旦下游响应头或有状态/工具事件提交，即使尚未收到文本 token
- C. 仅在收到最终用量事件后
- D. 永远不必停止；两个提供商可以安全地共用一个响应
显示答案
答案：B. 一旦下游响应头或有状态/工具事件提交，即使尚未收到文本 token
说明： 响应提交后，透明重试可能重复内容或工具操作，并产生额外费用。应按照客户端协议的错误语义终止响应，并记录用量不完整的情况。提交前重试仍需要限制尝试次数和截止时间，并对提供商可能收取的费用进行核算。输出必须先经过检查再释放；缓冲可能增加用户可见的首 token 延迟（TTFT）。
5. 隐私要求应如何影响缓存成本？
- A. 前缀缓存未命中时禁用脱敏
- B. 强制执行必要的隐私控制，在安全时采用作用域明确且稳定的转换，并测量其对缓存和延迟的影响
- C. 只检查用户文本，因为工具参数不会包含 PII
- D. 还原调用方提供的任何占位符
显示答案
答案：B. 强制执行必要的隐私控制，在安全时采用作用域明确且稳定的转换，并测量其对缓存和延迟的影响
说明： 敏感数据除了文本外，还可能出现在工具、结果和附件中。如果无法检查某类内容，应阻止请求或使用已批准的目标。应将映射绑定到经过身份验证的租户、主体和会话，并在还原时进行授权；映射丢失可能影响正确性。检测存在漏报，因此网关或分类器都不能证明绝对不会泄露数据。
6. 哪种 Bedrock Guardrails 集成方式合适？
- A. 创建护栏后，它会自动应用于所有调用
- B. 使用所选 API 的护栏字段，验证作用范围，并在支持时强制使用已批准的 ID/版本
- C. 使用异步模式可保证屏蔽敏感信息
- D. 所有 Bedrock API 都使用相同的顶层 JSON 字段
显示答案
答案：B. 使用所选 API 的护栏字段，验证作用范围，并在支持时强制使用已批准的 ID/版本
说明： Converse 使用 guardrailConfig；InvokeModel 使用 guardrailIdentifier/guardrailVersion 操作参数（HTTP 标头）。guardContent 可限定评估范围；ApplyGuardrail 可在不调用模型的情况下单独评估内容。适当的 IAM 条件和防绕过措施可强化网关策略。异步流式处理可能会在检查内容前就将其释放，而且不支持敏感信息屏蔽；日志和跟踪数据也需要保护。
7. 在缓存断点附近插入网关策略提示时，需要注意什么？
- A. 可以保证后续每个请求都命中缓存
- B. 在预期缓存边界内保持策略内容稳定，并且只对经过网关身份验证的元数据进行去重
- C. 缓存标记后的任何块都会使之前的片段失效
- D. 调用方提供匹配的哈希即可证明策略已执行
显示答案
答案：B. 在预期缓存边界内保持策略内容稳定，并且只对经过网关身份验证的元数据进行去重
说明： 缓存复用取决于受支持的片段是否相同、模型要求、最小长度、作用范围和 TTL。后续块位于较早缓存片段之外，但不一定会使其失效。复制来的策略标记不得阻止必要的插入或扫描。提示只是指导，并不是可执行的授权。
8. 最终必须在哪里强制执行工具授权？
- A. 仅在系统提示中
- B. 仅通过正则表达式匹配危险的 shell 字符串
- C. 在工具执行器中强制执行，并将网关输出检查作为额外防护层
- D. 仅在提供商返回最终用量后
显示答案
答案：C. 在工具执行器中强制执行，并将网关输出检查作为额外防护层
说明： 网关应缓冲并验证完整的工具调用参数，但无法覆盖绕过网关的情况，也无法控制已在提供商侧执行的工具。执行器需要经过身份验证的身份信息、资源和参数授权、架构验证、最小权限、沙箱隔离以及敏感操作审批。模型角色标签和工具名称本身都不能作为信任证明。
9. 哪项不变量有助于实施保守的分布式资金预算？
- A. 每个副本都可以独立使用整个团队限额
- B. 已用资金加上尚未结清的预留额度不超过限额；预留和对账具有持久性且可幂等执行
- C. 额度总和会自动成为超额支出的上限
- D. 额度过期后总能立即重新发放
显示答案
答案：B. 已用资金加上尚未结清的预留额度不超过限额；预留和对账具有持久性且可幂等执行
说明： 从可用预算中扣除的额度是已预留的容量，不是允许超额支出的额度。应使用保守的成本上限、原子化的本地准入、持久化 ID 和对账机制。额度过期后虽然会停止新的准入，但尚未完成的工作或报告意味着不能安全地回收额度。计量型辅助调用、主模型调用和输出检查调用都要通过各自的预留计入同一预算。资金租约不会自动实现全局速率计数。
10. 基础设施上下文可以如何影响路由？
- A. 某个获准区域速度较慢，就可以改用任意更快的区域
- B. 健康状况和负载可用于在已授权的目标之间选择，但不能扩大模型、区域或隐私权限
- C. 源端点所在区域可以证明所有处理都在该区域进行
- D. 分类器故障会禁用预算策略
显示答案
答案：B. 健康状况和负载可用于在已授权的目标之间选择，但不能扩大模型、区域或隐私权限
说明： 应在策略边界内将健康信号用于可用性和端点选择。Bedrock 推理配置文件可能会将请求路由到源区域之外，因此必须检查所有目标区域。最终上下文适配性必须将转换后的输入与目标的输出/推理额度一并计算。只有在所有必要检查仍通过时，才能回退到原模型。
11. 网关应如何处理 token 计数端点？
- A. 始终返回 HTTP 200，包括未授权请求
- B. 保留身份验证、授权、验证错误和独立的速率限制；如提供可选的近似回退，应明确标注
- C. 将按字节数除以 4 的估算冒充为提供商的精确计数
- D. 忽略请求大小和 CPU 限制，因为计数不是推理
显示答案
答案：B. 保留身份验证、授权、验证错误和独立的速率限制；如提供可选的近似回退，应明确标注
说明： 计数可能有提供商特定的验证失败，也有独立的 RPM 限制。它不计入推理支出，但会消耗网关和提供商资源。可选的近似回退不能覆盖拒绝决定、隐瞒数据来源，也不能保证上下文适配性精确。针对特定产品的兼容性适配层并非通用 API 要求。
12. 为什么应避免将用户/密钥 ID 和原始提示用作指标标签？
- A. 这样可以压缩 SSE
- B. 这样可以限制基数并减少身份信息/内容泄露；仍需限制抓取访问
- C. 因为指标绝不能包含团队标签
- D. 因为加密可以消除所有标签风险
显示答案
答案：B. 这样可以限制基数并减少身份信息/内容泄露；仍需限制抓取访问
说明： 应使用经过审核且基数受限的标签，例如规范化的模型/提供商，以及在适当情况下配置的团队。保护指标和管理端点，并避免在跟踪属性或错误中包含提示。应为语义约定设置版本，并验证导出器的命名方式。低基数本身并不意味着可以公开访问。