온디바이스 AI

지금 쓰는 AI 대부분은 사실 내 폰이 아니라 멀리 있는 데이터센터에서 돌아갑니다. 내 질문이 서버로 갔다가 답이 되어 돌아오는 구조죠. 온디바이스 AI는 이 왕복을 없애고, AI를 폰·노트북 안에서 직접 돌립니다.

장점은 세 가지입니다. 인터넷이 없어도 되고, 반응이 빠르고, 무엇보다 내 데이터가 기기 밖으로 나가지 않습니다. 사진첩 검색이나 통화 요약처럼 사생활에 가까운 기능일수록 온디바이스가 중요해지는 이유입니다.

대신 폰의 칩은 데이터센터의 GPU보다 훨씬 작아서, 작고 효율적인 모델이 필요합니다. 「갤럭시·아이폰에 탑재된 AI」 기사, 애플·퀄컴·삼성의 「AI 칩(NPU)」 기사가 전부 이 흐름입니다. 큰 모델은 서버에서, 잔심부름은 기기에서 — 둘을 섞는 하이브리드가 현재의 대세입니다.

「신형 스마트폰, 서버 연결 없이 실시간 통역 지원」 — 통역 모델이 폰 안에서 돈다는 뜻입니다. 「프라이버시」가 근처 문장에 따라옵니다.

1. 폰을 비행기 모드로 바꿉니다 — 인터넷이 끊긴 상태를 만드는 겁니다.
2. AI 기능들을 하나씩 눌러 보세요: 사진 앱의 지우개·보정, 키보드 자동완성, 음성 받아쓰기, 실시간 통역.
3. 비행기 모드에서도 되는 것이 온디바이스 AI, 「연결이 필요합니다」가 뜨는 것이 서버 AI입니다 — 내 폰이 어디까지 스스로 하는지 지도가 그려집니다.