인컨텍스트 학습

인컨텍스트 학습은 AI 모델이 별도로 재훈련되지 않고도, 지금 주어진 대화나 예시만 보고 그 자리에서 새로운 요령을 따라 하는 능력이다.

비유하자면 새로 온 직원에게 몇 달짜리 교육 과정을 거치게 하는 대신, 옆에서 작업을 한 번 시범 보여주면 바로 똑같이 따라 하는 상황과 비슷하다. 이때 직원의 실력 자체가 바뀐 건 아니다. 방금 본 걸 그 순간 참고해서 흉내 낸 것뿐이라, 시범을 잊어버리면 다시 처음부터 배워야 한다. AI도 마찬가지다. 모델 안에 저장된 지식 값(이를 가중치라 부른다)은 손끝 하나 건드리지 않은 채, 지금 화면에 떠 있는 예시나 설명만 훑어보고 그 순간의 답을 낸다.

이 능력이 눈에 띄게 확인된 사례가 로봇이다. 로봇 팔에게 블록을 그릇에 쓸어 담는 동작을 12초짜리 영상으로 딱 한 번 보여주자, 로봇은 추가 훈련 없이 곧바로 똑같이 따라 했다. 개발사는 이 능력을 일부러 설계해 넣은 게 아니라고 밝혔는데, 방대한 데이터로 계속 훈련시키다 보니 어느 순간 저절로 나타났다는 것이다. 채팅 AI에게 예시 몇 개를 대화창에 적어주면 그 패턴을 곧바로 파악해 답하는 것도 같은 원리다.

기사에서는 "인컨텍스트 학습을 촉진하는 구조 변경도, 메타러닝 루프도 없었다"며, 로봇이 시연 영상 하나만 보고 곧바로 새 동작을 수행하게 된 이유를 인컨텍스트 학습으로 설명했다. 흔히 오해하는 것과 달리 이 능력은 따로 설계해 넣은 기능이 아니라, 오랜 기간 대량의 데이터로 훈련시킨 끝에 저절로 나타난 현상이다.

챗봇 대화창에 아래처럼 규칙을 두세 개 보여준 뒤 새 질문을 던져보면, 재훈련 없이 그 패턴을 그대로 이어받아 답하는 걸 확인할 수 있다.

사과 -> Apple 바나나 -> Banana 포도 ->

이렇게 입력하면 모델은 원래 알던 영어 단어를 아무거나 꺼내는 게 아니라, 방금 준 두 예시의 규칙(과일 이름을 영어로 바꾸기)을 그 자리에서 파악해 Grape라고 답한다. 예시를 전혀 다른 규칙으로 바꿔도 모델은 새 규칙을 즉시 따라간다 — 이게 인컨텍스트 학습이다.