큐원3.8-플래시-넥스트

큐원3.8-플래시-넥스트는 알리바바 큐원이 만든 AI 모델로, 원래는 덩치가 아주 크지만 압축해서 개인용 컴퓨터에서도 돌릴 수 있게 풀어놓은 버전이다. 비유하자면 355기가바이트짜리 두꺼운 백과사전을 75기가바이트짜리 여행용 요약본으로 줄인 셈인데, 놀랍게도 정확도는 79% 수준으로 거의 그대로 유지된다고 한다.

덩치가 크게 줄어든 덕분에 비싼 서버용 그래픽카드 없이도 맥이나 메모리가 넉넉한 특정 PC에서 실행할 수 있다는 점이 특징이다. 텍스트와 이미지를 함께 읽을 수 있고, 아주 긴 문서나 코드 저장소도 한 번에 읽어들일 만큼 기억할 수 있는 분량이 넓다.

알리바바 큐원과 이를 로컬 구동용으로 다듬은 언슬로스가 자체적으로 공개한 비교표에서는 이 모델이 여러 업무 처리 테스트에서 앤스로픽의 클로드 오퍼스 4.6 맥스보다 높은 점수를 냈다. 다만 이 결과는 개발사와 관련 업체가 직접 공개한 수치라, 다른 기관이 독립적으로 재현해 확인한 것은 아니다.

기사에서는 "큐원3.8-플래시-넥스트가 75GB 메모리로 로컬 구동됐다"처럼 쓰인다. 이름에 붙은 숫자만 보면 작은 모델처럼 보이지만, 실제 파라미터 규모는 125B로 상당히 크고, 그만큼 압축(양자화) 기술이 적용됐다는 점을 함께 봐야 한다.

1. 허깅페이스에서 이 모델의 이름으로 저장소를 검색한다.
2. 언슬로스처럼 로컬 구동용 파일과 가이드를 제공하는 배포판을 찾는다.
3. 자신의 컴퓨터 메모리 용량에 맞는 압축(양자화) 등급을 고른다. 메모리가 적으면 더 가벼운 등급을, 넉넉하면 더 정확한 등급을 선택한다.
4. 로컬 실행 도구에 해당 파일을 불러온 뒤, 문서 요약이나 코드 설명 같은 프롬프트를 입력해 결과를 확인한다.