Rill Data란?

Rill Data는 데이터 분석가와 엔지니어를 위한 현대적인 실시간 데이터 시각화 및 대시보드 플랫폼입니다. ClickHouse와 같은 고성능 데이터베이스와 통합하여 대규모 데이터셋에 대한 빠르고 인터랙티브한 분석을 제공합니다.

Rill Data 창업 배경

Rill Data는 현대 데이터 스택의 복잡성과 비효율성을 해결하기 위해 탄생했습니다. 창업자들은 데이터 분석 도구들이 점점 더 복잡해지고, 간단한 대시보드를 만드는 데에도 많은 시간과 리소스가 소요되는 문제를 목격했습니다.

전통적인 BI 도구들은 다음과 같은 한계를 가지고 있었습니다:

• 느린 개발 속도: 대시보드 하나를 만들기 위해 여러 팀의 협업과 복잡한 설정이 필요했습니다.
• 실시간성 부족: 데이터 파이프라인이 복잡하고 지연이 발생하여 최신 데이터를 즉시 반영하기 어려웠습니다.
• 높은 진입 장벽: 비기술 사용자가 직접 대시보드를 만들고 수정하기 어려웠습니다.
• 버전 관리의 어려움: UI 기반 도구들은 변경 사항 추적과 협업이 어려웠습니다.

Rill Data 팀은 이러한 문제들을 해결하기 위해 다음과 같은 비전을 가지고 출발했습니다:

• 개발자 친화적: 코드로 대시보드를 정의하여 Git 워크플로우와 자연스럽게 통합되도록 합니다.
• 즉각적인 피드백: 로컬 개발 환경에서 변경사항을 즉시 확인할 수 있는 빠른 반복 주기를 제공합니다.
• 성능 최우선: ClickHouse와 같은 고성능 데이터베이스와의 네이티브 통합으로 대규모 데이터셋도 빠르게 처리합니다.
• 오픈소스: 커뮤니티와 함께 성장하며, 투명하고 개방적인 개발 프로세스를 추구합니다.

Rill Data는 "데이터 분석을 더 빠르고, 더 쉽고, 더 즐겁게"라는 미션으로, 모든 조직이 데이터를 통해 더 나은 의사결정을 내릴 수 있도록 돕고 있습니다.

주요 특징

• 실시간 데이터 시각화: 데이터 변경사항을 즉시 반영하여 최신 인사이트를 제공합니다.
• 코드 기반 대시보드: YAML 또는 SQL로 대시보드를 정의하여 버전 관리와 협업이 용이합니다.
• 고성능 쿼리: ClickHouse를 비롯한 다양한 데이터 소스와의 네이티브 통합으로 빠른 쿼리 성능을 보장합니다.
• 간편한 배포: 로컬 개발부터 클라우드 배포까지 유연한 배포 옵션을 제공합니다.
• 인터랙티브 탐색: 드릴다운, 필터링, 시간 범위 선택 등 다양한 인터랙티브 기능을 지원합니다.

ClickHouse와의 통합

Rill Data는 ClickHouse를 데이터 소스로 직접 연결할 수 있어, ClickHouse의 뛰어난 OLAP 성능을 최대한 활용할 수 있습니다. 수십억 개의 행을 포함하는 대규모 데이터셋도 밀리초 단위로 쿼리하여 실시간 대시보드를 구축할 수 있습니다.

사용 사례

• 비즈니스 인텔리전스: 매출, 사용자 행동, 마케팅 지표 등을 실시간으로 모니터링합니다.
• 운영 모니터링: 시스템 메트릭, 로그 데이터, 애플리케이션 성능을 추적합니다.
• 데이터 탐색: 대규모 데이터셋을 빠르게 탐색하고 패턴을 발견합니다.
• 임베디드 분석: 애플리케이션 내에 분석 기능을 임베드하여 최종 사용자에게 제공합니다.

시작하기

Rill Data는 오픈소스 프로젝트로, 로컬 환경에서 쉽게 시작할 수 있습니다:

curl -s https://cdn.rilldata.com/install.sh | bash
rill init my-project
cd my-project
rill start

ClickHouse와 연결하려면 프로젝트 설정에서 데이터 소스를 구성하면 됩니다.

데모

ClickHouse의 공개된 환경인 sql.clickhouse.com을 연결하여 간단하게 사용할 수 있습니다.

(회사 정책상 connection string을 공유하지는 않습니다. 다만, sunny@clickhouse.com 또는 ken@clickhouse.com 으로 연락주시면 도움 드릴 수 있도록 하겠습니다.)

예시 화면

장점

• 빠른 개발 속도: 간단한 설정으로 몇 분 안에 대시보드를 구축할 수 있습니다.
• Git 친화적: 모든 대시보드와 설정이 코드로 관리되어 버전 관리가 쉽습니다.
• 확장 가능: 소규모 프로젝트부터 엔터프라이즈급 애플리케이션까지 확장 가능합니다.
• 오픈소스: 커뮤니티 기여와 투명한 개발 프로세스를 통해 지속적으로 발전합니다.

참고 자료

• 공식 웹사이트: https://www.rilldata.com
• GitHub 저장소: https://github.com/rilldata/rill
• 문서: https://docs.rilldata.com