MXFP4

MXFP4는 AI 모델 안에 있는 수많은 숫자를 아주 작은 자리수로 눌러 담는 표현 방식이다. 보통 모델을 만들 때 숫자 하나하나는 16자리 정도의 정밀도로 저장되는데, MXFP4는 이걸 4자리로 확 줄인다. 사진을 고화질 원본으로 두면 용량이 크지만 압축 파일로 바꾸면 용량은 작아지는 대신 세부 정보가 사라지는 것과 비슷하다.

다만 MXFP4는 무작정 자릿수만 줄이는 게 아니라, 비슷한 숫자들을 한 묶음으로 모아 그 묶음에 공통 배율(눈금)을 하나 정해두고, 개별 숫자는 그 눈금 안에서만 작게 표시한다. 그래서 아예 자리수를 균등하게 줄이는 방식보다 정보 손실을 조금 더 줄일 수 있다. 이렇게 하면 모델을 돌리는 데 필요한 메모리와 컴퓨팅 자원이 크게 줄어들어서, 같은 하드웨어로 더 큰 모델을 돌리거나 더 저렴하게 서비스를 운영할 수 있다.

문제는 숫자를 이렇게 눌러 담으면 보통 모델의 판단력, 즉 추론이나 계산 능력이 함께 떨어진다는 점이다. 그래서 MXFP4로 바꾼 다음 성능을 다시 끌어올리는 별도의 회복 작업이 따라붙는 경우가 많다.

기사에서는 "학생 모델은 절반 크기에 MXFP4로 돌아가는 모델"이라거나 "QAH로 다시 MXFP4까지 양자화해 검증했다"는 식으로 쓰였다. 여기서 오해하기 쉬운 부분은, MXFP4로 줄이면 저절로 성능이 좋아진다고 생각하는 것이다. 실제로는 자릿수를 4비트로 줄이면 성능이 떨어지는 게 보통이고, 기사에 나온 결과는 새로운 회복 기법을 함께 적용했을 때 얻은 예외적인 결과다.