站长自查:怎么防止上游给你掺假

被上游坑过一次(claude 池里混 qwen),现在每天定时自查。清单分享:

每日自动跑

• 身份回显探针 —— 问模型"你是谁",qwen 冒充 claude 一问就穿
• 推理指纹 —— 固定一组逻辑题,对比官方 API 输出分布
• 计费核验 —— 同一请求对比 usage 和 tokenizer 本地计数

每周人工抽

• 长上下文召回(200k 塞针测试)
• 工具调用行为(schema 遵循度)
• 高峰时段延迟采样

# 我的定时任务,凌晨 4 点跑全量探针
0 4 * * * /opt/probe/run.sh --all --report=tg

建议同行都做一遍,别等用户骂上门才发现上游掺了东西。