先定义什么叫“做对”
收集成功、失败、边界和恶意输入，明确可接受输出、必须转人工的情况和不允许出现的结果。
输出：样例集 · 预期结果 · 红线表
FACULTY PROFILE · AI PRACTICE
李 义
实战导师 · 自动化测试、质量门与交付复盘AI 项目越接近真实业务，越需要默认怀疑：先测失败，再谈规模化。
SERVICE MAP · 服务能力地图
用失败样例和质量门，判断 AI 项目能否继续
李义把测试、质量、成本和交付复盘放在一起看。服务目标不是把测试写得更复杂，而是让团队在扩大范围之前知道系统在哪些输入、流程和边界条件下会失败。
让重复检查可以被复跑
对输入、工具调用、输出格式和版本变更设置可重复的测试步骤，减少只靠人工点击的验收。
输出：测试脚本 · 输入规范 · 验收清单一起看效果、速度和调用成本
记录模型、调用次数、失败重试和人工接管，判断优化是换模型、改流程还是减少不必要的调用。
输出：用量表 · 成本估算 · 优化清单把问题变成下一版的门槛
将线上反馈、失败样例、用户影响和修复结果归档，形成版本复盘和是否扩展的决策依据。
输出：异常记录 · 版本结论 · 复盘报告Agent 或自动化流程准备上线
- Demo 看起来可用，但没有系统测试集
- 团队担心异常输出和人工接管
- 需要上线前的质量门和验收材料
调用量上升但成本不清楚
- 不知道成本来自模型、重试还是流程设计
- 想在质量不明显下降的情况下优化
- 需要把数据带回产品和工程决策
测试不能替代业务责任
- 测试结论依赖样例覆盖和业务方确认
- 安全、合规与生产变更仍需责任人审批
- 不把有限样本外推成普遍性能承诺
FIRST SESSION · 首次沟通
带 10 个真实输入和 3 个失败样例，先建立第一道质量门
准备当前版本、典型输入、预期输出、已知问题和调用记录。首次沟通会先补齐验收口径，再决定做测试集、成本复盘还是上线前评审。
建议先做：Agent 质量与成本诊断会后形成测试范围、失败分类、人工接管点和下一轮修复清单。
PROFILE · 导师简介
把专业背景，落到真实 AI 任务里
上岸智源实战导师团成员，负责把 Agent 原型拆成测试样例、异常记录、人工接管和版本复盘，帮助团队知道“哪里能用、哪里不能用”。
- 不只展示成功案例，还建立失败样例、边界条件和人工接管规则。
- 让业务负责人、技术负责人和验收人看到同一组证据。
- 测试集、异常记录、版本日志、成本表、验收清单和复盘模板。
- 支持项目在 30 天陪跑和后续迭代中持续使用。
- 适用于知识库问答、资料整理、客服辅助和内部办公流程。
- 生产上线仍需按企业数据和安全要求独立验收。
CASES · 服务案例
不只讲方法，具体做过哪些事？
下面展示的是脱敏服务样本：从客户问题、AI 方案到最终交付物，把服务边界写清楚，便于企业判断是否适合自己的场景。
Agent 原型质量门
把原型拆成测试样例，记录异常、人工接管、版本变化和成本，形成上线前检查。
成功样例 → 失败样例 → 异常归因 → 复测通过
交付：测试集 · 异常记录 · 版本复盘表
重复任务工作流测试
检查资料输入、字段格式、工具调用、输出模板和人工确认点，避免自动化只在理想数据上成立。
输入校验 → 流程执行 → 输出核对 → 边界测试
交付：输入规范 · 测试脚本 · 验收清单
Agent 调用成本复盘
通过调用量、上下文长度、模型分层和失败重试记录，找到可以缓存、摘要或缩小范围的环节。
用量采集 → 成本拆分 → 失败定位 → 优化建议
交付：用量表 · 成本估算 · 优化清单
RESEARCH · 研究与论文材料
把可验证成果继续沉淀成研究资产
当前页面公开研究主题、服务方法与可复用交付物。正式论文、专著、会议或媒体成果只在取得作者确认和题录后发布。
- Agent 评测与失败样例
- 自动化流程的人工接管设计
- 模型调用成本与质量平衡
本页的案例、交付物和相关课程链接，构成目前可以公开核验的 AI 实践材料。
待补充作者确认后的题名、作者顺序、刊物或会议、年份、DOI/链接与授权范围。
论文题录与正式发表成果待作者确认。当前公开测试方法、质量门与复盘资产，不虚构研究发表信息。
NEXT · 继续阅读