사카나AI, 역전파 없는 학습법 PC-ALM 공개

예측 부호화(predictive coding, PC)는 그 대안으로 오래 연구된 방법이에요. 헬름홀츠의 무의식적 지각 이론에 뿌리를 두고, 라오와 밸러드가 1999년 시각 피질 모델로 수식화했어요. 각 층이 들어오는 신호를 스스로 예측하고, 예측에 실패한 부분인 예측 오차만 다음 층으로 올려요. 그런데 이 방식은 깊고 좁은 네트워크에서 신호가 감쇠해요. 블로그에 따르면 출력에서 들어온 감독 신호가 층마다 이웃과 타협하는 사슬을 거치면서 앞쪽 층에 닿기 훨씬 전에 약해져요. 블로그가 든 기존 연구의 성공 사례는 층당 512개 뉴런을 둔 128층 잔차 MLP로 MNIST와 Fashion-MNIST를 학습한 것이었어요.

PC-ALM은 여기에 층마다 쌍대 뉴런(dual neurons), 수학적으로는 라그랑주 승수를 하나씩 붙여요. 이 승수는 그 층의 예측 오차를 매 단계 누적해요. 현재 오차가 비례 항, 누적 오차가 적분 항이 되어 각 층이 PI 피드백 제어기처럼 움직여요. 자동차의 크루즈 컨트롤이 지금 속도 차이와 그동안 쌓인 속도 차이를 함께 보고 가속 페달을 밟는 것과 같은 원리예요. 출발점은 얀 르쿤의 1988년 논문이에요. 제약 조건이 붙은 신경망의 라그랑주 승수가 평형에서 역전파의 기울기와 같다는 관찰인데, 사카나AI는 이 구성을 PC의 에너지 함수와 합친 증강 라그랑지안 위에서 층 국소 동역학으로 돌렸어요. 편향 항이 없는 선형 네트워크에서는 쌍대 뉴런이 정확히 역전파의 신호로 수렴한다는 것을 논문에서 증명했고, 비선형 네트워크에서는 실험으로 확인했어요.

실험 수치는 깃허브 저장소의 README에 재현 기준으로 적혀 있어요. 메탈이 확인한 그 표에 따르면 폭 32, 깊이 32, ReLU 잔차 MLP로 Fashion-MNIST를 한 에폭 학습했을 때 시험 정확도는 역전파 78.66%, 기존 PC 68.13%, PC-ALM 77.75%였어요. 가중치 기울기가 역전파의 기울기와 얼마나 같은 방향인지 재는 코사인 값은 역전파 1.000, PC 0.604, PC-ALM 0.909였어요. Fashion-MNIST 전체 격자는 675회 실행이에요. 논문은 폭과 깊이를 각각 8, 16, 32, 64, 128로 바꾼 조합에 항등, tanh, ReLU 활성 함수를 곱해 비교했고, 추론 단계 예산을 깊이의 두 배로 두면 PC-ALM이 전 구간에서 역전파와 같은 성능을 냈다고 밝혔어요. 학습은 배치 64로 한 에폭이었고, 데이터는 MNIST와 Fashion-MNIST 둘이었어요. 1,000층 실험은 블로그에 새로 실린 결과예요. 다섯 에폭을 돌렸고, 추론 단계는 층수의 두 배인 2,000단계였어요. ResNet-18로 CIFAR-10과 Tiny ImageNet을 학습한 실험에서도 PC보다 나았다고 회사는 적었어요.

저자들이 놀랍다고 적은 것은 신호가 퍼지는 모양이에요. PC에서는 감독 신호가 열이 퍼지듯 확산해서 깊이에 따라 감쇠하는데, PC-ALM에서는 파면처럼 출력에서 입력 쪽으로 빠르게 전진해 네트워크 전체에 고르게 퍼져요. 저자들은 이것을 확산 전파와 대비해 탄도(ballistic) 전파라고 불렀어요. 개별 뉴런은 추론 중에 감쇠 진동을 보여요. 쌍대 갱신 폭 α가 0이면 정확히 기존 PC로 돌아가고, α를 키우면 복소 고윳값이 생겨 진동이 나타나며, 너무 키우면 불안정해진다는 조건이 논문에 수식으로 적혀 있어요.

사회학자의 눈으로 보면 이 연구는 두 학문 공동체를 잇는 다리이기도 해요. 저자들은 신경과학 쪽의 NeuroAI 공동체와 최적화 쪽의 분산 최적화 공동체가 둘 다 국소성을 다루면서도 서로 대화가 거의 없었다는 관찰에서 출발했다고 밝혔어요. PC의 에너지 식이 분산 최적화에서 흔히 쓰는 증강 라그랑지안의 증강 항과 수상할 만큼 닮았다는 두 번째 관찰이 두 분야를 붙였어요. 그 대가는 숫자로 적혀 있어요. 논문에 따르면 PC-ALM은 PC보다 활성값 메모리를 두 배 쓰고, 미니배치마다 깊이에 비례하는 추론 단계를 돌려야 해요. 대신 폭을 넓혀서 역전파에 가까워지는 PC 방식과 비교하면, 역전파 기울기와 코사인 0.9에 이르는 데 드는 계산이 한 자릿수 이상 적다고 저자들은 계산했어요. 회사가 이 연구의 쓸모로 꼽은 곳은 뉴로모픽 하드웨어예요. 동역학 시뮬레이션이 GPU보다 싼 칩에서는 층마다 이웃과만 통신하는 학습법이 에너지 효율적인 딥러닝으로 이어질 수 있다는 것이에요. 실험은 MNIST와 Fashion-MNIST, 잔차 MLP에 머물렀고 트랜스포머나 언어 모델에는 적용되지 않았으며, 에너지의 기울기가 여전히 같은 층 가중치의 전치 행렬을 쓰는 가중치 전송 문제는 이 방법이 풀지 않았다고 저자들은 논문 부록에 적었어요. 메탈은 사카나AI가 왕립학회의 세계 모델 특집호를 소개한 것을 보도한 바 있는데, 뇌가 어떻게 배우는지를 묻는 연구가 이 회사에서 이어지고 있어요.

저자인 사카나AI의 제프리 실리와 줄리언 굴드는 블로그에서 "우리가 아는 한, 이것은 1,000층까지의 네트워크를 성공적으로 학습시키는 것이 확인된 첫 층 국소 방법입니다"라고 적었어요. 회사는 X 게시물에서 "궁극적으로 우리의 동기는 뇌 같은 분산된 물리 시스템이 국소 결합과 국소 동역학만으로 어떻게 공로 신호를 계산할 수 있는지 이해하는 것입니다"라고 밝혔어요. 게시물은 올라온 지 몇 시간 만에 조회 6만 회를 넘었고, 첨부된 45초짜리 무음 영상은 역전파와 PC, PC-ALM의 차이를 그림으로 보여 줘요. 저자들은 다음 과제로 시간에 걸친 공로 배분과 자기지도 손실, 더 큰 네트워크와 어려운 과제를 꼽았어요.

지금의 딥러닝은 역전파 하나에 기대고 있어요. 층마다 이웃과만 이야기하는 네트워크가 1,000층 깊이에서 역전파와 2%포인트 안쪽까지 따라붙었다는 사실은, 뇌를 닮은 학습법이 장난감 크기를 벗어날 수 있다는 첫 증거예요. 다음에 나올 숫자는 이 방법이 뉴로모픽 칩 위에서 실제로 얼마나 적은 에너지를 쓰느냐예요.