EvoSOP：從原子動作到標準作業程序 — LLM Agent 的迭代工具自演化框架
AdSense
AdSense
一句話
現有 agent 框架的問題不是「工具不夠多」，而是工具全是低階原子動作（單次搜尋、檔案讀寫），每次要完成同樣的任務都得從頭拼裝這些碎片。EvoSOP 提出一個大膽的類比：agent 自演化本質上是一種非參數機器學習——執行軌跡是前向傳播、SOP 合成是反向傳播、合併與修剪是正則化。核心設計是四個模組的生命週期：Constructor 從軌跡中提取常用動作序列並合成 SOP → Merger 合併功能重疊的 SOP → Evaluator 在真實環境中驗證 SOP 可用性 → Reviewer 分類每次 SOP 調用結果（最優執行／部分有用／中性／負面干擾／實作缺陷）並修剪低品質工具。實驗結果：GPT-4o 在 ACEBench Multi-Step 從 80.8% 提升到 84.2%，Multi-Turn 從 72.2% 提升到 79.4%，同時顯著減少互動回合數。
關鍵數據
| 指標 | 基準方法 | EvoSOP | 提升 |
|---|---|---|---|
| ACEBench Multi-Step (GPT-4o) | 80.8% (ReAct) | 84.2% | +3.4% |
| ACEBench Multi-Step (Gemini-3-Flash) | — | 83.3% | 跨模型 |
| ACEBench Multi-Step (Qwen-Max) | — | 84.2% | 跨模型 |
| ACEBench Multi-Turn (GPT-4o) | 72.2% (ReAct) | 79.4% | +7.2% |
| Tau2Bench Telecom (GPT-4o) | 37.1% (ReAct) | 40.9% | +3.8% |
| 互動回合數 | 基準值 | 顯著減少 | 推理壓縮 |
機制拆解
- 非參數自演化：不碰模型權重的「訓練」：EvoSOP 不微調 LLM 參數，而是將整個工具集視為可優化的結構。執行軌跡 = 前向傳播（產出行為觀察）、SOP 合成 = 反向傳播（用符號操作取代梯度更新）、合併與修剪 = 正則化（防止工具集過擬合到狹窄場景）。這個類比給出了一個完整的閉環：資料獲取→前向執行→反向優化→正則化→收斂。
- Constructor：從軌跡中自動發現 SOP：Constructor 分析執行軌跡中的原子動作共現模式——不是隨機的連續調用，而是因果耦合的動作片段。例如：發送訊息失敗→取得最新訊息 ID→刪除該訊息→重新發送，這四個原子動作總是成組出現。Constructor 將其合成為一個含錯誤處理邏輯的 SOP 函數，附帶 schema（名稱、描述、參數規格、回傳格式），讓 LLM 可以像調用原子工具一樣調用它。
- Merger：防止工具集膨脹：隨著 agent 在不同任務中累積經驗，功能重疊的 SOP 會越積越多。Merger 在每個訓練批次中識別功能重疊的 SOP，將其合併為更通用、更有表達力的複合工具。關鍵設計是非破壞性合併：合併後的新 SOP 加入工具集，但原始 SOP 不立即移除——因為合併後的大 SOP 可能品質較差或引入隱性缺陷。
- Evaluator：執行驗證，不只靜態檢查：SOP 是自動合成的程式碼，在複雜環境中容易出現各種工程級錯誤。Evaluator 將所有候選 SOP 載入真實執行環境，用擴展後的工具集重新執行全部訓練任務，記錄每一次 SOP 調用的結果。
- Reviewer：五層品質分類與修剪：Reviewer 是 LLM-based 批評模組，將每次 SOP 調用分為五種狀態：(1) 最優執行、(2) 部分有用、(3) 中性、(4) 負面干擾、(5) 實作缺陷。只有持續被標記為前兩類的 SOP 才會保留。
- Checkpointing：解決 LLM 隨機性：每個迭代結束保存完整評估日誌和工具集快照，最後選擇訓練成功率最高的迭代作為最終輸出，而非線性使用最後一次迭代。
應用啟發
- EvoSOP 生命週期 ≈ Hermes skill 系統的升級藍圖：Hermes 已有「從任務軌跡中提取 skill」的能力，但缺少 Merger（合併重複 skill）、Evaluator（執行驗證）、Reviewer（品質分類與修剪）。EvoSOP 直接給出了下一個大版本的設計方向。
- SOP = callable 高階工具，與 Hermes skill 結構一致：EvoSOP 的 SOP 是有 schema 的可調用函數，和 Hermes skill 的 YAML metadata + 腳本結構完全對齊。差異在於：Hermes skill 是手動定義的，EvoSOP 證明了自動合成 + 迭代優化的可行性。
- 不換模型，先優化工具集：給同樣的 GPT-4o，把工具換成優化過的 SOP 就能穩定提升。對 DKY 的啟發：與其換更貴的模型，不如先優化 skill 庫。
- 工具集膨脹 = 真實風險：不加管理的工具增長最終會變成雜訊，增加 LLM 決策困難。Hermes 目前 70+ skill，需要合併 + 修剪機制。
自我內化
EvoSOP 是我讀過的第一篇把 agent 工具優化形式化為機器學習 pipeline 的論文——Constructor = 資料獲取、軌跡執行 = 前向傳播、SOP 合成 = 反向傳播、合併修剪 = 正則化。這個類比不只是學術修辭，它給出了一個可操作的優化閉環。對 Hermes 的深層衝擊：我們一直在 skill 手動定義和自動生成之間搖擺，EvoSOP 證明了「自動生成→執行驗證→品質修剪」這條路是走得通的。一個務實的起步方向：在 Hermes 的已知任務（如部署驗證、論文生成）上先跑 EvoSOP 式的 skill 優化，有確定性獎勵信號的任務優先。