METAL

vLLM

인프라 · 칩미국

vLLM은 대규모 언어모델을 여러 사용자에게 동시에 서비스할 수 있도록 추론 속도와 메모리 효율을 높이는 오픈소스 추론 엔진이다. 대표 기술로는 GPU 메모리를 페이지 단위로 관리해 처리량을 끌어올리는 페이지드어텐션 기법이 꼽힌다. vLLM은 특정 기업이 판매하는 상용 제품이 아니라 커뮤니티 메인테이너들이 개발과 배포를 이끄는 오픈소스 프로젝트다. 2026년 8월 vLLM의 리드 메인테이너는 50만 GPU 규모의 오픈모델 운영 경험을 공개하며 대규모 추론 인프라 운영 사례를 알렸다.

공식 사이트 ↗

현재 순위 (1M)

40위

변동
전 순위
44

최근 30일 순위 추이

2026.10.05 – 2026.11.03 · 최고 38위 · 최저 54위 · 현재 40위

vLLM · 관련 기사

비즈니스

인텔, 추론용 GPU D-series 사양 공개

인텔이 코드명 크레센트 아일랜드였던 데이터센터 추론용 GPU D-series의 세부 사양을 공개했다. HBM 대신 LPDDR5X를 최대 480GB 싣고 350와트 공랭식 PCIe 카드로 만들어 기존 서버에 꽂는 길을 골랐다.

By 김현국

150

AI

구글 딥마인드, EmbeddingGemma 2 공개

구글 딥마인드가 텍스트와 코드, 이미지, 오디오, 영상을 한 임베딩 공간에 담는 7억4000만 파라미터 공개 모델 EmbeddingGemma 2를 내놓았다. 필요한 인코더만 골라 얹는 조립식 구조로 스마트폰에서 멀티모달 검색을 돌린다.

By 김현국

110

AI

알리바바 큐원, Qwen-Image-2.1 공개

큐원 팀이 9월 20일 이미지 생성과 편집을 한 모델로 묶은 Qwen-Image-2.1 을 열었어요. 시각 생성부는 7B 파라미터이고, 배경이 비어 있는 RGBA 이미지를 모델이 직접 만들어요.

By 김현국

190

AI

큐원3.8-27B, 아파치 2.0 오픈웨이트 공개

알리바바 큐원이 27B 멀티모달 모델의 가중치를 통째로 풀었다. 4비트로 17.9GB — 그래픽카드 한 장에 들어가는 크기인데, 공식 표에서는 클로드 오퍼스 4.6 맥스를 여러 항목에서 앞선다.

By 김현국

470

METAL for iPhone

AI 뉴스, 이제 앱에서 읽으세요.

METAL 앱을 다운로드하고 매일 새로운 AI 기사를 만나보세요.

App Store에서 다운로드

iPhone용 앱 · 무료 다운로드

iPhone의 App Store에서도 ‘메탈 AI 매거진’을 검색할 수 있습니다.