語言模型代理從軌跡中學習：ACE與ALTK-Evolve

語言模型代理從軌跡中學習：ACE與ALTK-Evolve

語言模型代理（Language Model Agent）是一種能夠學習和適應不同任務的智能代理。近年來，兩個新的系統：ACE（Agentic Context Engineering）和ALTK-Evolve，被提出來解決語言模型代理的學習問題。這兩個系統都讓代理從自己的軌跡中學習，但是它們在具體實現和應用方面有所不同。

核心思想

ACE和ALTK-Evolve都基於一個核心思想：讓代理從自己的軌跡中學習，並將所學到的知識存儲起來，以便在未來的任務中使用。這種方法被稱為 "代理記憶"（Agentic Memory），它可以讓代理在不需要人工標注和權重更新的情況下，從自己的經驗中學習和改進。

ACE和ALTK-Evolve的差異

雖然ACE和ALTK-Evolve都基於同一個核心思想，但是它們在具體實現和應用方面有所不同。ACE將代理所學到的知識組織成一個綜合的、演化的 "劇本"（Playbook），而ALTK-Evolve則將知識存儲成個別的、可检索的 "指南"（Guidelines）。ACE的劇本中，每個知識點都有一個 "有用/有害"（Helpful/Harmful）計數器，以便代理在需要時可以快速地檢索和使用相關知識。

學習和應用

ACE和ALTK-Evolve都拒絕 "壓縮"（Compress）代理所學到的知識。它們認為，每個知識點都有其自己的價值和重要性，壓縮知識可能會導致代理失去重要的經驗和知識。相反，ACE和ALTK-Evolve都使用 "計數"（Counting）方法來存儲和检索代理所學到的知識。ACE使用 "每個知識點的計數器"（Per-bullet counters），而ALTK-Evolve使用 "支持計數"（Support counts）來記錄每個知識點的重要性和相關性。

未來展望

ACE和ALTK-Evolve的提出標誌著語言模型代理學習和應用的新時代。未來，語言模型代理將能夠從自己的軌跡中學習和改進，從而更好地適應不同的任務和環境。同時，語言模型代理的學習和應用也將對人工智能和機器學習等領域產生深遠的影響。隨著ACE和ALTK-Evolve等新系統的提出和發展，語言模型代理的學習和應用將成為人工智能和機器學習等領域的重要研究方向。