B布鲁的学习笔记
Agents From Scratch/第 03 部分

评测 Agent

LangChain AI   ·   中文章节导读   ·   MIT License

本节要解决的问题

这一部分围绕“评测 Agent”展开,从可运行代码出发,把 Agent 的一个关键能力拆成可以理解、验证和复现的步骤。

Notebook 结构

  1. 评测运行方式

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  2. Pytest / Vitest

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  3. LangSmith Dataset

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  4. 测试用例设计

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  5. Target Function 与 Evaluator Function

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  6. LLM-as-Judge

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

  7. 扩大测试集与结果分析

    阅读 Notebook 中对应部分,记录输入、输出、状态变化和失败处理。

建议阅读顺序

先通读概念和状态定义,再运行最小示例,然后观察工具调用和图的流转,最后阅读测试、人工确认或记忆部分。每次只改变一个变量,便于判断结果变化来自哪里。

实践任务

  • 画出本节 Agent 的状态图。
  • 列出所有工具及其输入输出。
  • 故意制造一次失败,记录系统如何恢复。
  • 写下一个可以迁移到自己项目的改造点。

完成标准

你不只要能运行代码,还应该能解释每个节点为什么存在、节点之间如何连接,以及在真实产品中需要补上哪些安全和评测措施。

本站提供中文导读和学习路径,代码与 Notebook 请以 原始仓库 为准。