构建可信的 AI 评估体系，涵盖大语言模型裁判、对抗测试、RAG 评估指标、智能体评估、CI/CD 质量门禁以及生产环境监控。
说明
你将学到什么
理解AI评估如何运作
- 了解为什么单元测试和传统QA在非确定性系统上会失效
- 像衡量准确性、安全性、可靠性、成本和延迟一样衡量AI质量
- 通过错误分析把真实失败转化为你的第一批评估
- 在多步Agent追踪中几分钟内找到出错位置，而不是花几天
构建你信任的LLM评审器
- 使用LLM-as-a-Judge自动评分输出
- 编写像断言一样行为的通过/失败评分标准
- 在依赖每个评审器之前，用人工评审验证它
在攻击者之前对Agent进行红队测试
- 用提示注入和越狱攻击你自己的Agent
- 使用Promptfoo自动化红队测试
- 添加防护栏，在拦截攻击的同时不拦截真实用户
- 让你的Agent通过安全团队认真对待的安全与对抗审查
构建有意义的评估数据集
- 从真实流量加经过验证的合成数据构建黄金数据集
- 像管理代码一样对数据集进行版本管理，使结果保持可复现
- 使用RAGAS指标评分RAG流水线
从不同维度评估Agent
- 测试Agent是否用正确的参数调用正确的工具
- 评判Agent的完整轨迹和最终答案
- 捕获隐藏在多Agent交接中的失败
在生产环境运行评估
- 将评估接入CI/CD，使回归问题永远不会被合并
- 监控实时流量
- 捕获模型漂移和数据漂移
交付完整的评估系统
- 完成一个从无测试Agent到带门禁、可监控流水线的结业项目
- 选择仍能满足你质量门槛的最便宜模型
- 把每次事故转化为永久回归测试
课程大纲
第1周
2026年10月7日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
评估基础与错误分析
- 为什么AI产品需要评估
- 生产环境失败案例研究
- 模型基准测试与产品评估
- 非确定性及其应对方法
- 传统QA与AI评估
- 评估作为核心基础设施
AI评估基础
- 六大质量维度：模型质量、产品行为、安全性、可靠性、成本、延迟
- 模型质量评估与产品行为评估
- 成本指标：每任务成本跟踪、token与重试核算
- 延迟指标：首token时间、span计时、百分位跟踪
- 评估工具链架构与流水线组件
- 评估框架全景（开源与商业）
构建真实Agent
- 创建一个真实客服Agent，使每次运行都留下可检查的追踪
- 设置日志与可观测性，展示Agent实际做了什么
错误分析
- 追踪与日志
- 错误分析工作流
- 失败分类法
- 基于频率的优先级排序
- 评估飞轮：部署→分析→构建数据集→改进→监控
作业1：插桩与追踪
- 使用LangSmith SDK对代码助手进行插桩
- 运行30个输入：代码生成、文档查找、多轮对话
- 端到端标注追踪，包含通过/失败和备注
作业2：构建失败分类法
- 将失败聚类为5个以上二元追踪代码，并统计频率
- 将每个代码映射到一个质量维度
- 报告前3大失败模式和1个无法解释的异常
第2周
2026年10月14日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
设计可靠的LLM评审器
评估方法
- 评估器类型（基于代码、传统指标、LLM-as-a-Judge、人工评估）
- 传统指标的失败模式
- 评估器选择：准确性、成本和延迟权衡
设计LLM评审器
- 二元通过/失败评分标准与李克特量表
- 评审提示词结构
- 用于根因隔离的单标准评审器
- 四类评审器：语气/风格、事实正确性、指令遵循、任务完成
验证与比较
- 评审器-人类一致性矩阵
- 假通过 vs. 假失败分析
- 信任门禁、假通过率、可解释失败
- 多轮与对话级评估
- 按指标A/B评估
作业1：构建并验证
- 编写3个二元评分标准：代码正确性、文档相关性、工具调用准确性
- 在DeepEval中实现为LLM评审器，使用严格输出格式
- 在40个标签集上验证，查看一致性和Cohen’s κ
作业2：诊断并比较
- 运行诊断-修复循环
- 对两个提示词变体进行A/B测试，给出各指标差值
- 编写发布/不发布决策
第3周
2026年10月21日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
安全与对抗测试
对抗基础
- 对抗评估与质量评估
- Agent攻击面
- 攻击类别，如提示注入、越狱、数据泄露、有害内容和偏见
攻击技术
- 直接与间接提示注入
- 越狱技术：角色扮演、假设场景、情感框架、编码
- 数据泄露目标
- 偏见测试：人口统计提示词变体
- 有害内容测试
构建测试套件与评分防护栏
- 人工与自动红队
- 使用Promptfoo进行自动红队
- 测试套件模式：攻击类型、目标、预期行为
- 防护栏混淆矩阵
- 防护栏组合
作业1：扫描与分诊
- 运行Promptfoo基线扫描
- 将失败追踪分诊到频率×严重性矩阵
- 手工设计5个领域特定攻击
作业2：构建并评分防护栏
- 构建3个防护栏（正则、LLM评审器或混合）
- 按捕获率和过度拦截率评分
- 用数值阈值写发布/不发布结论
- 人在回路审批流程
第4周
2026年10月28日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
RAG评估
评估数据
- 四个数据集质量：代表性、多样性、标签正确性、版本管理
- 黄金集模式
- 基于标准的真实标签
- 合成数据生成与验证
- LangSmith中的数据集版本管理与固定
- 基准测试素养（MMLU、HumanEval、SWE-bench）
RAG评估
- 组件级评估：检索与生成
- 四个RAGAS指标：忠实性、答案相关性、上下文精确率、上下文召回率
- 有据性
- RAGAS + LangSmith集成
统计严谨性
- 样本量与误差范围
- 配对检验
- 自助法置信区间
- 显著性检验与p值
- 多重比较与留出集重测
- 可重复评估工具链设计（固定数据集、单一配置、可复现运行等）
作业1：构建并版本化数据集
- 构建150+案例黄金集
- 在LangSmith中固定v1用于版本化A/B运行
作业2：测量与测试
- 将四个RAGAS指标接入评估工具链
- 找到一个有据性失败
- 运行配对自助法检验
- 交付评估工具链，含一个配置、一个命令和可复现报告
第5周
2026年11月4日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
多Agent评估
Agent评估基础
- 模型、Agent和系统
- Agent失败模式：工具误用、推理循环、记忆漂移、权限升级、协调冲突
- 轮次级与对话级指标
工具使用与轨迹
- 工具调用评分
- 预期动作集
- 参数验证作为结构化输出评估
- 轨迹评估
- 基于属性的轨迹评审与精确匹配差异
多Agent协调
- 交接评估（完整性、保真度、路由）
- Agent流水线中的级联失败
- 模型→系统得分差距作为交互失败信号
作业1：评分工具与轨迹
- 构建15+预期动作记录，含顺序和额外调用策略
- 按维度评分工具使用
- 构建轨迹评估器
- 标记一个脆弱通过
作业2：发现交互失败
- 接通代码生成评审交接
- 生成模型、Agent和系统三层报告
- 记录3个交互失败及其交接根因
第6周
2026年11月11日，星期三
太平洋时间下午5–7点：直播授课
太平洋时间下午7–8点：直播问答
生产评估基础设施
CI/CD中的评估门禁
- 评估检查点（PR检查、夜间回归、发布前门禁）
- GitHub Actions中的评估门禁
- 门禁策略：阻断型与记录型指标
- 快速PR子集与完整回归套件
在线评估与漂移检测
- 在线评估信号
- 用于评估成本控制的流量采样
- 告警策略
- 漂移分类法（数据漂移、概念漂移、提示词/模型漂移）
- 定时金丝雀评估
复利式评估
- 评估飞轮：从生产失败到回归测试
- 评估驱动的模型路由与成本优化
- 责任归属与运营节奏
作业1：部署基础设施
- 将第1–5周评估工具链接入GitHub Actions：PR检查 + 夜间定时任务，以安全性和正确性为门禁
- 部署生产监控
- 安排带告警的漂移金丝雀
作业2：运营并记录
- 记录一个飞轮周期，如事件→根因→修复→回归测试
- 生成评估驱动的成本路由建议
- 编写责任归属文档
格 式：MP4
分 辨 率：高清1920×1080
语言字幕：英语，AI精翻中文字幕
大 小：4.14 GB
上传中
版权声明：资源来源于互联网收集整理，仅供学习交流，如果喜欢请支持正版。
本站仅作为资源信息收集站点，无法保证资源的可用及完整性，不提供任何资源安装使用及技术服务。请自己研究文档