파이펫

파이펫은 폰이나 노트북 같은 개인 기기에서 AI 모델이 얼마나 빨리 답을 뱉고 메모리를 얼마나 먹는지 정확히 재는 도구예요. 실험실에서 액체를 정확한 양만큼 옮길 때 쓰는 도구 이름을 그대로 가져온 건데, 조건을 똑같이 맞춰놓고 여러 모델을 하나씩 정밀하게 재보자는 취지가 담긴 이름이죠.

지금까지 나온 성능 비교표는 대부분 서버에 올려둔 큰 모델을 재는 데 맞춰져 있었어요. 그런데 같은 모델이라도 얼마나 압축했는지, 어떤 프로그램으로 실행했는지, 어떤 기기에 올렸는지에 따라 속도와 정확도가 크게 달라져요. 파이펫은 모델, 압축 정도, 실행 프로그램, 기기 — 이 네 가지를 하나로 묶어 한 줄의 비교 단위로 삼고, 같은 조건 아래 여러 조합을 나란히 세워 볼 수 있게 해줘요.

Liquid AI가 아티피셜 애널리시스와 함께 공개했고, 아이폰이나 갤럭시 같은 실제 기기에서 걸리는 시간과 메모리는 직접 측정하고, 답변의 품질은 별도 서버에서 채점하는 식으로 역할을 나눠 재는 구조예요.

기사에서는 "Pipette에서 비교 대상 한 줄은 모델+양자화+런타임+기기로 묶인다"는 식으로 쓰여요. 여기서 오해하기 쉬운 부분은, 파이펫이 하나의 모델이 아니라 대시보드·데이터셋·벤치마크 클라이언트·채점 인프라를 한데 묶은 도구 묶음이라는 점이에요.

파이펫 대시보드에서 관심 있는 기기 하나(예: 아이폰이나 갤럭시급 스마트폰)를 고르고, 크기가 다른 두 모델을 선택해 응답까지 걸리는 시간과 메모리 사용량을 나란히 비교해 보세요. 같은 모델이라도 압축 정도를 바꿔가며 속도와 메모리가 어떻게 달라지는지 살펴보는 것도 도움이 돼요.