지속적 역전파

지속적 역전파는 AI 모델이 한 번 훈련을 마친 뒤에도 새로운 것을 계속 배우면서, 동시에 예전에 배운 것을 까먹지 않도록 만드는 훈련 기법이다.

사람 뇌에 비유하면 이렇다. 새로운 걸 배우다 보면 일부 뇌세포는 이미 다 써버린 것처럼 굳어버려서, 더 이상 새로운 패턴을 잘 못 받아들인다. 지속적 역전파는 이렇게 굳어서 쓸모가 줄어든 부분을 조금씩 골라내 초기 상태로 되돌리고, 다시 배울 수 있게 만든다. 나머지 부분은 그대로 둬서, 이전에 익힌 지식이 통째로 사라지는 일은 막는다.

지금 나온 대다수 AI 모델은 훈련이 끝나면 그대로 멈춰서, 세상에서 새로운 경험을 쌓아도 스스로는 바뀌지 않는다. 강화학습의 창시자로 꼽히는 리처드 서튼은 이 점을 문제 삼으며, 진짜 지속학습 없이는 에이전트가 스스로 세계를 배우고 고쳐 나가는 능력을 가질 수 없다고 본다. 지속적 역전파는 그런 지속학습을 하면서도 예전 지식을 통째로 잃어버리는 '치명적 망각' 문제를 막아 보려는 시도 중 하나다.

기사에서는 리처드 서튼 연구팀이 네이처에 발표한 기법으로 소개된다. 특정 제품이나 서비스 이름이 아니라, 훈련이 끝나도 계속 배우게 만드는 방법을 가리키는 연구 용어라는 점에 주의해야 한다.