스키마 매핑

스키마 매핑은 서로 다른 곳에서 온 데이터의 항목 이름과 형식을 서로 짝지어 “이건 같은 뜻이다”라고 표시해 하나의 표로 합칠 수 있게 만드는 작업이다. 예를 들어 티켓팅 회사는 고객 이름을 customer_name이라 부르고, 스트리밍 서비스는 같은 정보를 user_full_name이라 부를 수 있다. 이름도 다르고 저장 형식도 다른 이 두 항목이 사실은 같은 데이터라는 것을 표시해줘야 두 시스템의 데이터를 하나로 묶어 쓸 수 있다.

이는 여러 집에서 온 이삿짐을 정리할 때 상자마다 다르게 써 있는 라벨을 보고 “이건 부엌 물건, 이건 침실 물건”이라고 다시 분류해 한곳에 정리하는 일과 비슷하다. 회사에 새로운 데이터 소스가 하나 추가될 때마다 이 대조 작업을 사람이 일일이 손으로 해야 했기 때문에, 소스 하나를 연결하는 데 몇 주씩 걸리는 경우가 많았다. 최근에는 이 대조 작업 자체를 AI가 자동으로 처리하도록 만드는 시도가 늘고 있다.

기사에서는 "스키마 매핑, 파이프라인 구축, 데이터 품질 검사, GDPR 분류 작업이 모두 수작업으로 이뤄졌다"는 식으로 등장한다. 오해하기 쉬운 점은, 스키마 매핑이 데이터 내용 자체를 바꾸는 작업이 아니라는 것이다. 값을 수정하는 게 아니라 서로 다른 이름과 형식으로 저장된 항목들이 실제로는 같은 의미라는 것을 연결해주는 지도(map)를 만드는 일이다.

챗봇에게 아래처럼 요청해 스키마 매핑이 어떤 작업인지 감을 잡아볼 수 있다.

다음 두 표의 항목을 서로 대응시켜줘. A표에는 customer_name, signup_date, phone_no 항목이 있고, B표에는 user_full_name, registration_date, contact_number 항목이 있어. 각 항목이 서로 같은 의미인지 판단해서 매핑표로 정리해줘.