ClickHouse Release 25.10

ClickHouse 25.10 is available. In this post, you will learn about join improvements, a new data type for vector search, late materialization of secondary indices, and more!

clickhouse.com

ClickHouse 25.10 (Halloween) 릴리즈 주요 내용

🎃 핵심 특징

성능 최적화에 중점을 둔 릴리즈로, 100개 이상의 버그를 수정하고 다수의 새로운 기능을 추가했습니다.

🆕 새로운 기능

1. 테이블 Alias 엔진

• 테이블 별칭을 생성할 수 있는 새로운 엔진
• 마이그레이션 시 애플리케이션 코드 변경 없이 테이블 전환 가능
• DROP, DETACH, RENAME을 제외한 모든 작업이 원본 테이블로 전달됨

2. 새로운 비교 연산자 (<=> 또는 IS NOT DISTINCT FROM)

• NULL을 동등하게 취급하는 연산자
• 이전에는 JOIN의 ON 절에서만 사용 가능했으나, 이제 모든 곳에서 사용 가능

3. CONV 함수

• 숫자를 다른 진법으로 변환 (예: 10진수 → 8진수)
• MySQL 호환성을 위해 추가

4. LIMIT BY ALL

• 모든 필드에 대해 중복 레코드 제한
• ORDER BY ALL, GROUP BY ALL과 일관성 유지

5. 자동 컬럼 통계

• 테이블 레벨에서 통계 자동 생성 설정 가능
• 자동 JOIN 재정렬에 활용

🚀 성능 최적화

1. String 데이터 타입의 새로운 물리적 레이아웃

• 크기와 데이터를 별도 파일로 분리 저장 (Array와 동일한 방식)
• 최대 5배 성능 향상
• 설정: string_serialization_version = 'quiz_size_string'

2. 복제 컬럼 최적화 (Replicated Columns)

• JOIN으로 데이터가 수백 배 증가할 때 메모리와 CPU 최적화
• Lazy evaluation 방식으로 실제 데이터 복제 없이 처리
• 400억 건 처리 시 극적인 성능 향상

3. JOIN에서 Bloom Filter 사용

• 작은 우측 테이블을 필터로 활용하여 좌측 테이블 읽기 최적화
• 2배 이상 성능 향상
• 런타임 필터로 인덱스와 유사한 효과

4. 복잡한 조건의 Push Down

• OR 조건이 포함된 복잡한 JOIN 조건 최적화
• 더 일반적인 조건으로 재구성하여 필터링 향상

5. 보조 인덱스 계산 시점 제어

• INSERT 시점이 아닌 MERGE 시점으로 인덱스 계산 연기 가능
• HNSW 벡터 인덱스 같은 무거운 인덱스에 유용
• ClickHouse Cloud의 분리된 서브서비스 활용 가능

🔬 실험적 기능

Qubit 데이터 타입 (주목할 만한 신기능!)

• Quantized Bits의 약자
• 벡터 임베딩 저장용 새로운 데이터 타입
• 런타임에 정밀도 조정 가능 (예: 16비트 → 5비트)
• 정보 손실 없이 저장하고, 쿼리 시 속도와 정확도 사이의 트레이드오프 선택
• 비트 슬라이스 방식으로 저장하여 필요한 비트만 읽기
• 예시: 32비트 대신 5비트 사용 시 6초 → 1.7초로 단축

💡 편의 기능

1. 음수 LIMIT과 OFFSET

sql

SELECT * FROM logs ORDER BY time LIMIT -100

• 마지막 100개 레코드를 정상 순서로 출력
• 로그 네비게이션에 특히 유용

2. ALTER TABLE REWRITE PARTS

• 병합 없이 데이터 파트를 다시 작성
• 암호화 키 회전에 활용
• 압축 설정 변경 실험에 유용

3. SYSTEM RECONNECT ZOOKEEPER

• Keeper 노드 간 연결 재분배
• 멀티 리전 환경에서 연결 최적화

🏞️ 데이터 레이크 지원

Apache Paimon 지원 추가

• Iceberg, Delta Lake, Hudi에 이어 새로운 데이터 레이크 포맷 지원
• S3, GCS, Azure, 로컬 파일 시스템 지원

기타 개선사항

• Delta Lake 메타데이터 작업용 시스템 로그 테이블
• 테이블 순서를 활용한 최적화

📊 기타

ClickGems 웹사이트 출시

• Ruby Gems용 분석 및 리포팅 도구
• Python의 ClickPy와 유사
• clickgems.clickhouse.com

이벤트

• ClickHouse Party (Las Vegas, 12월 2일) — Chain Smokers 공연

🎯 핵심 메시지

Alexey가 강조한 점: "ClickHouse는 JSON 처리에서 세계에서 가장 빠른 데이터베이스이며, 가장 가까운 경쟁자와도 몇 배의 차이가 있습니다."

이번 릴리즈는 벡터 검색과 JOIN 성능의 대폭적인 개선이 돋보입니다!