Ken
원문: Prototype to production: How Weights & Biases and ClickHouse help teams scale AI development
Weights & Biases(W&B)는 2017년에 설립된 AI 개발자 플랫폼으로, 엔지니어링 팀이 마주하는 가장 큰 고민 중 하나를 해결한다. 인상적인 프로토타입을 신뢰할 수 있는 프로덕션 시스템으로 만드는 일이다.
W&B는 핵심적으로 실험 추적, 데이터셋 버전 관리, ML 워크플로우 관리 도구를 제공해, AI 개발을 효율적이고 재현 가능하게 만든다. 공동 창업자이자 CEO인 Lukas Biewald의 말을 빌리면, "AI 개발의 진짜 가치는 실험에서 배우는 것 자체에 있다." 그 배움을 보존하고 확장 가능하게 만드는 것이 W&B 인프라의 역할이다.
그리고 그 인프라의 한가운데에 ClickHouse가 있다. AI 프로젝트를 프로덕션으로 옮길 때 발생하는 막대한 데이터 볼륨을 처리하기 위해, W&B는 ClickHouse의 고성능·저지연 컬럼나 OLAP 엔진에 의존한다.
ClickHouse와 그 팀 전체에 감사함을 느낍니다. 우리가 고객을 위해 할 수 있는 가장 중요한 일들을 정말 깊이 있게 해낼 수 있게 만들어 줬어요. — Lukas Biewald, CEO & Co-founder, Weights & Biases
프로덕션이라는 벽
20년 넘게 머신러닝 분야에서 일해온 Lukas는 최근의 "AI의 민주화"를 긍정적으로 본다. 파운데이션 모델이 등장하면서, 전 세계의 기업들이 산업을 가리지 않고 AI에 투자하고 "예상치 못한 방식으로" 애플리케이션을 만들고 있다는 것이다.
그러나 동시에, 새로운 기대도 생겼다. 사람들은 AI 모델이 "손쉽게" 프로덕션으로 옮겨질 수 있다고 생각한다. Lukas가 단언하는 현실은 다르다.
AI는 데모하기는 너무 쉽지만, 프로덕션에 올리기는 너무 어렵습니다.
- 소프트웨어 개발의 농담: "첫 90%, 그리고 두 번째 90%"
- AI에서는 10개의 90%가 있고, 그래도 프로덕션에 못 가는 경우가 있다
문제의 본질: GenAI 개발자 도구의 공백
전통적 소프트웨어 개발에는 잘 정립된 워크플로우와 도구가 있다.
- GitHub — 버전 관리
- Jira — 프로젝트 관리
- Figma — 디자인
반면, AI 개발자 도구는 같은 수준의 성숙도를 갖추지 못했다.
소프트웨어 개발은 선형적입니다. 항상 앞으로 나아가며 기능을 추가하죠. 반면 AI는 실험적입니다. 시도한 것의 거의 모든 것이 빛을 보지 못해요. 워크플로우 자체가 반복(iterative)이고, 전부 실험에 관한 일입니다. 무언가를 개선하면 다른 무언가가 나빠지고, 그 트레이드오프를 어떻게 받아들일지 결정해야 합니다.
Lukas는 소프트웨어에서 "코드"가 지적 자산인 것과 달리, AI에서는 "그 과정에서 배운 것들"이 핵심 가치라고 강조한다. 그러나 그 학습을 추적·버전 관리·운영할 도구가 없다면, 가치의 대부분은 사라진다.
AI 개발을 스케일하기
W&B는 AI 개발의 실험적이고 혼란스러운 특성을 길들이기 위해 만들어졌다. 실험 추적, 데이터셋 버전 관리, 워크플로우 관리 도구로 프로세스에 질서를 부여하고, 재현 가능하고 확장 가능하게 만든다.
W&B 플랫폼은 세 가지 주요 사용자를 대상으로 한다.
- 파운데이션 모델 빌더 (OpenAI GPT, Meta Llama 등을 만드는 팀)
- 복잡한 워크플로우를 위한 정교한 실험·추적 기능
- ML 엔지니어 (자율주행, 신약 개발 등 실세계 적용)
- 리서치와 프로덕션 사이의 간극을 메우고 모델을 견고하게 만듦
- GenAI 애플리케이션을 만드는 소프트웨어 개발자
- 새롭게 추가된 사용자층 — 이들을 위해 등장한 것이 Weave
Weave: LLM 옵저버빌리티 도구
Weave는 AI에 막 입문한 개발자를 위해 설계된 옵저버빌리티 도구다.
- LLM 호출 시각화: 데이터가 모델을 어떻게 흐르는지 이해할 수 있도록 도움
- 데이터셋 저장 & 버전 관리: 프라이버시 요구사항, 동적 데이터 변경 같은 복잡한 시나리오 처리
- 엄격한 모델 평가: 여러 메트릭에 걸친 모델 비교
- 사용자 피드백 수집: 내부 비즈니스 사용자든 외부 고객이든, 피드백을 한 곳에 모아 제품에 반영
- 파운데이션 모델 비교: 특정 시나리오에 어떤 모델이 가장 적합한지 판단 가능
ClickHouse의 역할
ClickHouse는 W&B 인프라의 핵심에서 AI 실험의 막대한 데이터 요구사항을 감당한다.
Weave 같은 제품에서 고객은 처음에는 소규모 데이터로 즉각적이고 빠른 라이브 결과를 원합니다. 그런데 그걸 절대 끄지 않아요. 그리고 거의 즉시 수십억 레코드 규모로 스케일되어야 합니다. — Lukas Biewald
ClickHouse가 W&B에 제공하는 것
- 컬럼나 스토리지 + 저지연 쿼리
- 소규모 실험 → 프로덕션 환경으로 인프라 재아키텍팅 없이 전환 가능
- 사전/사후 프로덕션의 경계가 모호한 AI 개발에 적합한 유연성
AI 개발에서는 프로토타입과 프로덕션의 선이 흐립니다. 이 과정을 잘 해내면, 가벼운 프로토타입으로 시작해 반복(iterate)하는 동안 사전 프로덕션 단계라는 게 따로 없습니다. 사전 프로덕션에서 한 일이 그대로 사후 프로덕션이 되는 거죠.
파트너십
Lukas는 제품뿐 아니라 ClickHouse 팀의 지원 방식도 강조한다. W&B와 ClickHouse 팀은 "고객을 돕기 위해 무엇이든 한다"는 비슷한 문화를 공유하며, Slack 채널로 직접 소통한다.
ClickHouse와 함께 일하는 것이 정말 좋았습니다. 제품도 훌륭하고, 아키텍처도 매우 쉽게 셋업할 수 있고, 저지연과 확장성은 놀라울 정도예요.
AI 개발자에게 힘을 실어주기
파운데이션 모델이 AI를 민주화하면서, 점점 더 많은 소프트웨어 개발자가 AI 개발의 세계로 들어오고 있다. 깊은 ML 전문성은 없지만, AI의 힘을 자신의 애플리케이션과 워크플로우에 결합하고 싶어 하는 사람들이다.
Weave와 그 뒤를 받치는 ClickHouse는 이런 개발자들을 위한 도구다. 실험을 추적·버전 관리·운영하기 쉽게 만들면, AI 개발의 진입 장벽은 낮아지고 GenAI는 더 빠르게 다양한 산업으로 확산된다.
결론
W&B 사례는 ClickHouse가 단순한 분석 데이터베이스를 넘어, "AI 개발 인프라의 표준 구성요소"가 되어가고 있음을 보여준다. 프로토타입 단계의 작은 데이터셋부터 프로덕션의 수십억 레코드까지, 재아키텍팅 없이 같은 인프라로 스케일할 수 있다는 점이 AI 개발자 도구에서 가지는 의미는 매우 크다.
"데모는 쉽고 프로덕션은 어려운" 시대에, ClickHouse는 그 격차를 줄이는 핵심 인프라로 자리 잡고 있다.