ALTK-Evolve

ALTK-Evolve는 AI 에이전트가 예전에 했던 작업을 복기해서 거기서 얻은 교훈을 다음 작업에 참고자료로 건네주는 도구다. 쓰던 요리사가 실패했던 레시피와 성공했던 레시피를 모두 되짚어 보고 '이 재료는 이 순서로 넣어야 한다', '이 상황에서는 이렇게 하면 안 된다' 같은 메모를 만들어 다음 요리 때 옆에 붙여두는 것과 비슷하다.

중요한 건 이 메모가 요리사의 뇌 자체를 바꾸지는 않는다는 점이다. 모델의 내부 값은 하나도 손대지 않고, 사람이 일일이 정답을 채점해줄 필요도 없다. 성공한 시도와 실패한 시도 양쪽에서 뽑은 교훈을 하나로 정리해서, 작업을 다시 시킬 때 그 메모만 슬쩍 건네주는 방식이다. 그래서 도입 비용이 적고, 다른 종류의 에이전트에도 그대로 옮겨 쓸 수 있다.

다만 이 메모를 얼마나 잘 받아들이는지는 에이전트마다 달랐다. 여유가 있는 강한 에이전트는 예외 상황까지 담긴 두툼한 메모 전체를 받아도 잘 소화했지만, 상대적으로 약한 에이전트는 메모가 너무 많으면 오히려 헷갈려했다. 그래서 이런 경우엔 핵심만 추려 짧게 건네주는 편이 더 효과적이었다.

기사에서는 "IBM Research가 공개한 ALTK-Evolve는 에이전트가 스스로 수행한 과거 작업 기록에서 교훈을 뽑아내는 도구다"라고 설명한다. 여기서 흔히 오해하기 쉬운 점은 이것이 모델을 재학습시키는 기법이라는 생각인데, 실제로는 모델 가중치를 전혀 건드리지 않고 추론 시점에 참고 자료만 얹어주는 방식이다.