아파치 아이스버그
Apache Iceberg
대용량 데이터를 안전하게 표(테이블) 형태로 관리할 수 있게 해주는 오픈소스 데이터 형식
쉽게 말하면
아파치 아이스버그는 방대한 양의 데이터를 마치 정리된 표처럼 다룰 수 있게 해주는 오픈소스 기술이다. 창고에 원자재가 그냥 쌓여 있으면 무엇이 언제 들어왔는지 알기 어렵듯, 대용량 데이터를 파일로만 쌓아두면 나중에 구조를 바꾸거나 예전 상태로 되돌리기가 매우 번거로운데, 아이스버그는 이 파일 더미 위에 정확한 재고 대장 같은 관리 층을 얹어준다.
구체적으로는 표의 열 구성을 바꾸거나, 여러 프로그램이 동시에 데이터를 읽고 써도 꼬이지 않게 하거나, 과거 특정 시점의 데이터 상태로 되돌아가 확인하는 일을 안전하게 만들어준다. 데이터를 저장만 해두는 창고에 은행 장부 같은 신뢰성을 더해주는 셈이다.
원래 넷플릭스에서 만들어 아파치 소프트웨어 재단에 기증한 프로젝트로, 여러 데이터 처리 도구가 같은 데이터를 공통 형식으로 읽고 쓸 수 있게 해주는 일종의 표준 역할을 한다. 데이터브릭스처럼 대용량 데이터를 다루는 플랫폼 기업들도 이 형식과의 호환성을 지원한다.