도구 호출 루프

도구 호출 루프란 AI가 스스로 답을 낼 수 없을 때 외부 도구를 불러 필요한 정보를 얻고, 그 결과가 충분한지 판단해 부족하면 또 다른 도구를 부르는 과정을 몇 번이고 반복하는 절차다.

비유하자면 회의 중 즉석에서 답할 수 없는 질문을 받은 직원의 모습과 비슷하다. 자리에서 일어나 자료실에 가서 서류를 찾아오고, 그래도 답이 안 나오면 다시 자료실에 가서 다른 서류를 뒤지고, 충분한 자료가 모였을 때야 회의실로 돌아와 답을 내놓는다. 이 왔다갔다 하는 전체 흐름 — 찾아보기, 판단하기, 다시 찾아보기 — 을 컴퓨터 프로그램으로 하나하나 직접 짜 넣어야 하는 경우가 많았다.

최근에는 이 반복 과정 자체를 클라우드 업체가 서버 안에서 대신 처리해주는 흐름이 나오고 있다. 그러면 프로그램을 만드는 사람은 이 왔다갔다 하는 절차를 직접 설계하지 않아도 되고, 그냥 결과만 받아서 쓰면 된다.

기사는 AWS 아마존 베드락의 웹 검색 기능을 두고 "클라이언트 측에서 도구 호출 루프를 따로 구현할 필요가 없다"고 설명한다. 이 말은 도구 호출 루프 자체가 없어졌다는 뜻이 아니다. 검색을 부르고 결과를 판단해 다시 검색하는 그 반복 절차는 여전히 일어나지만, 그 과정을 개발자가 직접 코드로 짜는 대신 AWS 서버가 알아서 처리해준다는 뜻이다.

웹 검색 기능이 켜진 챗봇에게 한 번의 검색으로는 답할 수 없는 질문을 던져 본다. 예를 들어 "이번 주 특정 회사 주가와 전날 대비 등락률, 그리고 그 이유가 된 최근 뉴스를 각각 확인해서 정리해줘"처럼 여러 정보를 서로 다른 출처에서 모아야 하는 질문이다. 챗봇이 한 번에 답을 내놓지 않고 검색을 여러 차례 나눠서 하는 모습이 보이면, 그것이 도구 호출 루프가 돌아가는 순간이다.