카탈로그 생성 데이터셋

카탈로그 생성 데이터셋은 회사가 이미 정리해 둔 데이터 설명서의 내용을 그대로 이어받아 AI가 자동으로 만들어 주는, 바로 쓸 수 있는 데이터 묶음이다.

비유하자면 이렇다. 회사 창고에는 이미 물건 하나하나의 위치와 특징을 적어둔 재고 목록이 있다. 그런데 매장 진열대를 새로 꾸밀 때마다 직원이 이 목록을 처음부터 다시 손으로 베껴 적었다면 시간도 오래 걸리고 실수도 생긴다. 카탈로그 생성 데이터셋은 그 재고 목록의 정보를 그대로 가져와 진열대를 자동으로 채워주는 방식이다.

AWS의 분석 서비스 Amazon Quick이 이런 방식을 쓴다. 회사가 AWS Glue나 Databricks Unity Catalog 같은 곳에 이미 정리해 둔 테이블 설명과 데이터 간 관계 정보를, 대화 몇 번만으로 Quick이 읽어들여 카탈로그 생성 데이터셋을 만들어 준다. 사람이 같은 정보를 두 번 입력할 필요가 없고, 원본 설명이 바뀌면 그 변화도 함께 반영된다는 것이 핵심이다.

기사는 "AWS는 Quick Agent가 대화형 확인 한 번으로 상위 카탈로그의 메타데이터를 상속한 Catalog-Generated Datasets와 Topics를 자동 생성한다"고 전한다. 오해하기 쉬운 점은 이것이 새로운 데이터를 만들어내는 기능이 아니라는 것이다. 실제로는 이미 다른 곳에 있던 설명과 관계 정보를 그대로 옮겨와 재사용하는 절차에 가깝다.