글로벌 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)가 오픈 테이블 포맷인 ‘아파치 아이스버그 테이블(Apache Iceberg™ tables, 이하 아이스버그 테이블)’에서 자사 플랫폼의 주요 기능을 더욱 쉽고 안전하게 사용할 수 있도록 한다고 발표했다. 이를 통해 기업들은 개방형 환경에서도 더욱 안전하면서도 빠르고 쉽게 데이터를 활성화 및 공유할 수 있게 된다.
스노우플레이크 고객들은 아파치 아이스버그 테이블을 적용하면서 통합 데이터 플랫폼과 파켓(Parquet) 등의 개방형 상호운용 데이터 형식 모두 사용할 수 있게 된다. 데이터를 개방형 상호운용 방식으로 저장·관리·분석할 수 있고, 데이터 복제 없이 스노우플레이크의 쉬운 사용성, 연결성, 높은 신뢰성을 갖춘 플랫폼 혜택을 누릴 수 있다. 벤더 종속성을 없애 모든 데이터를 활용해 높은 성능과 유연성으로 고급 인사이트 및 AI 기반 애플리케이션을 더 빠르게 구축·확장·공유할 수 있다.
아이스버그 테이블에서 스노우플레이크의 네이티브 테이블 형식과 동일한 컴퓨팅 엔진을 지원하며 ‘검색 최적화 서비스(Search Optimization Service)’와 ‘쿼리 가속 서비스(Query Acceleration Service)’ 등을 추가해 레이크하우스 분석 기능을 강화했다. 또한 스노우플레이크는 아파치 아이스버그 커뮤니티와 협력해 VARIANT 데이터 유형도 지원할 예정이다.
스노우플레이크의 높은 보안성과 안전한 데이터 공유 기술 역시 아이스버그 테이블에 도입함으로써 고객은 개방형 데이터의 유연성과 보안, 거버넌스로 안전하게 데이터를 관리, 공유, 배포 및 수익화할 수 있다. 신뢰할 수 있는 데이터 복제 및 동기화 기능을 아이스버그 테이블로 확장(현재 프라이빗 프리뷰 단계)해 시스템 장애, 사이버 공격 등에도 데이터를 신속하게 복구하고 운영할 수 있도록 지원한다.
스노우플레이크 제품 담당 수석 부사장 크리스티안 클레이너만(Christian Kleinerman)은 “데이터의 미래는 ‘오픈’이면서도 쉬워야 한다”며 “고객은 개방형 포맷과 최고 수준의 성능, 비즈니스 연속성 그 어떤 것도 놓치지 않아야 한다. 스노우플레이크의 최신 아이스버그 테이블 지원을 통해 복잡성은 제거하면서도 엔터프라이즈 수준의 성능과 보안을 유지해 개방형 데이터와 스노우플레이크 플랫폼에 저장된 데이터를 모두 활용할 수 있다”고 말했다.
이와 같이 스노우플레이크는 데이터 상호운용성과 투명성을 높이고자 오픈 소스와 데이터 혁신을 위한 투자에도 적극적이다. 지난 4년 동안 스노우플레이크가 인수한 기업 중 35%는 오픈 데이터 생태계를 강화하는 기술을 보유한 회사들로, 개방성을 중시하는 스노우플레이크의 철학을 반영한다.
아이스버그 테이블 외에도 실시간 파이프라인을 관리하고 변환 작업을 단순화하는 데이타볼로(Datavolo)의 ‘아파치 NiFi(Apache NiFi)’, 주요 클라우드 제공업체 간 아이스버그 상호운용성과 기업 보안을 보장하는 ‘아파치 폴라리스(Apache Polaris)’, 판다스(pandas) 워크로드를 코드 변경 없이 확장하도록 지원하는 ‘모딘(Modin)’, 사용자가 대화형 웹 애플리케이션, 데이터 대시보드 및 시각화를 쉽게 구축하고 공유하도록 지원하는 ‘스트림릿(Streamlit)’, 모델 성능 모니터링 기능을 강화해 AI의 편향 탐지, 규정 준수, 성능 분석을 제공하는 ‘트루에라(TruEra)’ 등 주요 오픈소스 프로젝트에도 기여하고 있다.
코모도 헬스(Komodo Health)의 최고기술책임자 로렌트 브라이드(Laurent Bride)는 “코모도 헬스의 목표인 종합적인 헬스케어 지도, 플랫폼, 도구 및 분석 솔루션을 통해 전 세계 질병 부담을 줄이는 것에 아파치 아이스버그와 폴라리스 카탈로그(Polaris Catalog)와 같은 오픈 소스 카탈로그가 중요한 역할을 했다”며 “오픈 테이블 형식은 유연성, 상호 운용성, 데이터 거버넌스를 제공하며, 복잡한 헬스케어 데이터를 기반으로 생성한 인사이트를 스노우플레이크의 탁월한 성능을 통해 효율적으로 확장해 의료 생태계 전반에 환자 치료 결과를 개선하는 데 기여하고 있다”고 말했다.
