네모트론 3.5 라이트닝

네모트론 3.5 라이트닝은 엔비디아가 공개한 오픈 모델로, 전체 지식은 크게 갖추고 있지만 답을 만들 때는 그중 일부만 꺼내 쓰는 방식으로 움직인다.

비유하자면 거대한 도서관을 통째로 지어두고, 질문 하나가 들어올 때마다 관련 있는 서가 한두 칸의 불만 켜는 식이다. 도서관 전체 규모는 크지만 실제로 불을 켜는 구역은 훨씬 작아서, 답이 빨리 나오고 컴퓨터가 견뎌야 하는 부담도 줄어든다. 엔비디아는 이 구조 덕분에 비슷한 크기의 다른 모델보다 최대 4배 빠르게 답을 뽑아낸다고 설명했다.

이런 특성이 특히 쓸모 있는 곳은 사람이 직접 대화하는 챗봇이 아니라, 하루 종일 쉬지 않고 같은 일을 반복 처리하는 자동화 프로그램이다. 사람은 한 번 물어보고 한 번 답을 받으면 그만이지만, 자동화 프로그램은 작업 하나를 끝내려고 같은 모델을 수십, 수백 번 불러낸다. 한 번 부르는 데 걸리는 시간이 조금만 늘어나도 전체 작업 시간은 크게 불어나기 때문에, 이 모델은 그 반복 호출을 최대한 빠르게 처리하도록 설계됐다.

기사에서는 "Factory는 DGX Spark 위에서 Nemotron 3.5 Lightning을 돌려, 코드가 회사 밖으로 나가지 않는 개발 환경을 만들었다"는 식으로 등장한다. 이름에 '라이트닝'이 붙었다고 실제 크기가 작은 모델은 아니다. 전체 지식의 양은 크지만, 답을 만들 때 실제로 쓰는 부분만 작게 잘라 쓰기 때문에 빠른 것이다.