ClickHouse 25.9 Release Call

릴리스 개요

• ClickHouse 25.9 가을 릴리스에 총 25개의 새로운 기능 추가
• 22개의 성능 최적화와 83개의 버그 수정 포함
• 주요 기능: 전문 검색 인덱싱, 자동 조인 재정렬, 향상된 메모리 프로파일러

주요 개선 사항

• 설정 구성 단순화: SetUseQueryCache, SetEnabledParallelReplicas 등 명령어 사용법 개선
• 새로운 함수 추가:
• IsValidASCII: 문자열이 ASCII 범위 내에 있는지 확인
• ArrayExcept: 첫 번째 배열에서 두 번째 배열에 존재하는 요소 제거
• S3 테이블 엔진: 스토리지 클래스 지정 기능 추가 (Intelligent Tiering, Standard Infrequent Access, Glacier 등)
• 새 시스템 테이블: system.database.replicas - 데이터베이스 복제 상태 모니터링
• Arrow Flight 지원 향상: TLS 및 인증 기능 추가

메모리 프로파일러

• 세 번째 메모리 프로파일러 추가: JEMalloc 기반 정밀 샘플링 메모리 프로파일러
• 메모리 할당 및 해제 과정을 특정 샘플링 수준에서 기록
• 쿼리별 또는 서버 전체적으로 적용 가능
• 데이터는 system.trace.log에 저장되어 분석 가능
• 메모리 사용 패턴 및 문제 분석에 유용

성능 최적화

• 스트리밍 인덱스 읽기:
• 데이터와 인덱스를 동시에 처리하여 응답 시간 개선
• 특히 대용량 테이블과 큰 인덱스가 있는 경우 성능 향상
• 테스트 결과: 특정 쿼리에서 32초에서 7초로 속도 향상
• 자동 조인 재정렬:
• 테이블의 데이터 크기와 통계를 기반으로 최적의 조인 순서 선택
• 설정: max_tables_for_join_reordering, enable_statistics_for_join_reordering
• TPC-H 벤치마크에서 극적인 성능 향상 (특정 쿼리에서 몇 분에서 1초 이내로 단축)

주요 신규 기능

• 전문 검색 인덱스:
• 2022년부터 개발, 실험적 지원에서 더욱 발전
• 텍스트 필드에 인덱스 설정 가능, 다양한 토크나이저 지원
• HasToken, SearchAll, SearchAny 등의 함수로 검색
• 테스트 결과: 10억 개 이상의 로그 레코드에서 58ms만에 검색 결과 반환
• 벡터 유사도 검색:
• AI 및 ML 애플리케이션을 위한 벡터 검색 기능
• HNSW 알고리즘 사용, 비동기 인덱스 생성 지원
• 25.8에서 GA(General Availability) 상태로 승격
• 사전 필터링, 후 필터링 기능 지원

게스트 프레젠테이션

• ClickStack(Mike):
• ClickHouse Cloud 내에서 ClickStack 통합
• 로그, 트레이스, 메트릭 등 관찰 가능성 스택 제공
• 오픈텔레메트리 지원, 사용자 친화적 UI
• 개인 프리뷰로 제공 중, 관심 있는 사용자는 신청 가능
• Azion(브라질 회사):
• 게임 네트워크 인프라스트럭처 가속화 전문 기업
• 전 세계 1,000개 서버로 190개국 2만 명의 사용자, 2,000개 게임 지원
• ClickHouse에 레이턴시 데이터 저장 (일 200만 개 레코드)
• AI 통합 실험: LLM, 자연어 처리, 벡터 검색 활용
• Gemini와 MLLM을 ClickHouse 및 Slack과 통합한 데모 시연