임베딩

임베딩은 말의 「뜻」을 숫자 좌표로 바꾸는 기술입니다. 문장 하나하나에 지도 위 좌표 같은 것을 찍어 주는데, 뜻이 비슷한 문장일수록 좌표가 가깝습니다. 「강아지 간식 추천」과 「반려견 영양제」는 단어가 거의 안 겹치지만, 임베딩 좌표에서는 이웃입니다.

이게 왜 중요하냐면, 컴퓨터가 드디어 「단어가 아니라 의미로」 비교할 수 있게 되기 때문입니다. 예전 검색은 같은 단어가 있어야 찾았지만, 임베딩 기반 검색(시맨틱 검색)은 표현이 달라도 뜻이 닿으면 찾아냅니다.

AI 제품의 물밑에서 가장 널리 쓰이는 부품입니다. 검색, 추천(「이 기사와 비슷한 글」), 그리고 RAG의 「관련 자료 찾기」 단계가 전부 임베딩으로 돌아갑니다. 기사에 「벡터 데이터베이스」 「시맨틱 검색」이 나오면 임베딩 이야기가 시작된 것입니다.

「새 임베딩 모델로 검색 정확도를 높였다」 — 뜻으로 찾는 검색의 「뜻 좌표」를 더 정밀하게 만들었다는 이야기입니다.

1. 챗봇에 이렇게 보내 보세요: 「다음 다섯 문장을 뜻이 비슷한 것끼리 묶어 줘: ①강아지 간식 추천해 줘 ②주식 시장이 급락했다 ③반려견 영양제 뭐가 좋아? ④코스피가 크게 떨어졌다 ⑤내일 비 온대?」
2. ①③과 ②④가 묶입니다 — 겹치는 단어가 거의 없는데도요. 단어가 아니라 「뜻의 거리」로 묶은 것이고, 그 거리를 재는 좌표가 임베딩입니다.
3. METAL LAB 기사 하단의 「관련 기사」도 같은 원리로 뽑힙니다 — 표현이 달라도 내용이 닿는 글을 찾아 주는 게 임베딩의 일입니다.