델타 레이크

델타 레이크는 창고에 쌓인 파일 더미를 정돈된 서류함으로 바꿔주는 저장 기술이에요. 원래 데이터 레이크는 사진, 로그, 표 데이터를 형식 구분 없이 그냥 던져 넣는 창고 같은 곳이라, 누가 같은 파일을 동시에 고치면 내용이 깨지거나 뒤죽박죽되기 쉬웠어요. 델타 레이크는 이 창고 위에 목차와 잠금장치를 얹어서, 여러 사람이 동시에 데이터를 써도 중간에 실패하면 아예 반영이 안 되게 막아주고, 언제 누가 무엇을 바꿨는지 기록을 남겨줘요.

덕분에 기업은 정형화되지 않은 원본 데이터를 쌓아두는 창고와, 깔끔하게 정리된 표만 다루는 창고 사이에서 굳이 하나를 고르지 않아도 돼요. 같은 저장소 안에서 원본도 보관하고 신뢰할 수 있는 최신 표도 유지할 수 있게 해주는 것이 델타 레이크의 역할이에요. 데이터브릭스가 이 개념을 오픈소스로 공개해서, 다른 회사의 시스템에서도 같은 방식으로 데이터를 관리할 수 있어요.

기사에서는 '데이터 레이크'라는 말이 자주 나오는데, 이는 파일이 쌓이는 저장소 자체를 뜻하고 델타 레이크는 그 저장소가 어지러워지지 않게 관리해주는 기술이라는 점을 헷갈리지 않아야 해요. 데이터브릭스가 자사 플랫폼을 '레이크하우스'라고 부르는 이유도, 델타 레이크 같은 기술로 창고(레이크)에 서류함(하우스)의 정돈된 구조를 더했기 때문이에요.