LibreChat: 기업용 LLM Portal

2025년 11월, ClickHouse는 LibreChat 인수를 발표합니다. LibreChat은 ChatGPT 스타일의 UI를 제공하는 오픈소스 AI 채팅 플랫폼으로 기업용 LLM Portal을 외부망이 차단된 환경에 구축하려고 할 때, 유용하게 활용할 수 있습니다.

ClickHouse는 AgentHouse를 통해서 이에 대한 데모페이지를 운영하고 있으며, MCP 서버와 유기적으로 연결할 수 있는 LibreChat에 대해 소개하고자 합니다.

• 1. LibreChat 개요
• 1.1 LibreChat이란?
• 1.2 왜 기업 전용 LLM Portal이 필요한가?
• 2. 주요 기능
• 2.1 다중 AI 백엔드 지원
• 2.2 Agents: 노코드 AI 어시스턴트
• 2.3 MCP (Model Context Protocol) 지원
• 2.4 Code Interpreter API
• 2.5 Artifacts: 생성형 UI
• 2.6 RAG (Retrieval Augmented Generation)
• 3. 엔터프라이즈 보안 및 인증
• 3.1 인증 옵션
• 3.2 접근 제어 및 거버넌스
• 3.3 2025 Admin Panel (예정)
• 4. ClickHouse와의 통합: Agentic Data Stack
• 🚀 지금 바로 체험하기: AgentHouse Demo
• 4.1 Agentic Data Stack이란?
• 4.2 엔터프라이즈 검증 사례
• 4.3 통합 아키텍처
• 4.4 ClickHouse 분석 활용 예시
• 4.5 실제 구성 참고
• 5. Air-Gapped 환경 구성
• 5.1 Air-Gapped가 필요한 산업
• 5.2 완전 오프라인 배포 체크리스트
• Step 1: Docker 이미지 사전 준비
• Step 2: Ollama 모델 오프라인 준비
• Step 3: 네트워크 격리 검증
• 6. 2025 로드맵
• 6.1 출시 예정 기능 (v0.7.8~v0.7.9)
• 6.2 2025 중점 기능: Admin Panel
• 6.3 계획된 기능
• 6.4 ClickHouse 통합 로드맵
• 7. 정리
• 7.1 LibreChat 핵심 요약
• 7.2 적합한 사용 케이스
• 7.3 시작하기

1. LibreChat 개요

1.1 LibreChat이란?

LibreChat은 ChatGPT 스타일의 UI를 제공하는 오픈소스 AI 채팅 플랫폼입니다. 2023년 1월 ChatGPT 출시 직후 공개되어, 현재 가장 오래 운영되고 있는 활성 AI Chat UI 프로젝트입니다.

주요 지표 (2025년 기준):

• GitHub Stars: 22,200+
• Docker Registry 다운로드: 300만+ 회
• GitHub Trending Top 25 진입: 15회 이상 (#1 포함)
• 지원 언어: 40개 이상의 다국어 UI

핵심 가치:

• 완전한 Self-Hosting: 데이터가 외부로 나가지 않음
• Air-Gapped 지원: 인터넷 없는 폐쇄망에서도 운영 가능
• MIT 라이선스: 상업적 사용, 수정, 배포 모두 자유

1.2 왜 기업 전용 LLM Portal이 필요한가?

ChatGPT, Claude 등 SaaS AI 서비스의 한계:

LibreChat의 해답: Bring Your Own Model (BYOM)

LibreChat은 특정 AI 벤더에 종속되지 않습니다. 클라우드 API부터 로컬 모델까지, 조직의 요구사항에 맞는 어떤 LLM이든 통합할 수 있습니다.

2. 주요 기능

2.1 다중 AI 백엔드 지원

LibreChat은 20개 이상의 AI 제공자를 단일 인터페이스에서 지원합니다.

클라우드 LLM:

• OpenAI (GPT-4o, GPT-4o-mini, o1)
• Anthropic (Claude 3.5 Sonnet, Claude 3 Opus)
• Google (Gemini 2.0, 1.5 Pro)
• AWS Bedrock (전체 모델 지원)
• Azure OpenAI
• Groq, Deepseek, Mistral, Perplexity 등

로컬/Self-Hosted LLM:

• Ollama: Llama 3.3, Qwen 2.5, DeepSeek-R1 등
• vLLM: 고성능 추론 서버
• LM Studio: 데스크톱 기반 로컬 모델
• Apple MLX: Apple Silicon 최적화
• koboldcpp: CPU 기반 추론

OpenAI 호환 커스텀 엔드포인트:

• 사내 Fine-tuned 모델 연동
• LiteLLM 프록시를 통한 통합 게이트웨이

2.2 Agents: 노코드 AI 어시스턴트

LibreChat Agents는 코딩 없이 맞춤형 AI 어시스턴트를 구축할 수 있는 프레임워크입니다.

주요 특징:

• 모든 지원 모델과 호환: OpenAI뿐 아니라 Anthropic, Google, 로컬 모델에서도 동작
• 도구 통합: DALL-E-3, 웹 검색, 계산기, 파일 관리, 코드 실행
• 파일 컨텍스트: 문서를 Agent 시스템 프롬프트에 포함
• ACL 기반 권한: 역할별 Agent 접근 제어

2.3 MCP (Model Context Protocol) 지원

MCP는 Anthropic이 주도하는 AI 도구 통합을 위한 표준 프로토콜입니다. LibreChat은 MCP 클라이언트로서 다양한 MCP 서버와 연결됩니다.

지원 전송 방식:

• stdio: 로컬 프로세스 실행 (npx, uvx)
• SSE: HTTP 기반 서버
• WebSocket: 실시간 양방향 통신
• Streamable HTTP: 스케일러블 배포

MCP 활용 예시:

• ClickHouse MCP: 데이터베이스 쿼리 및 분석
• Filesystem MCP: 로컬 파일 읽기/쓰기
• Playwright MCP: 웹 브라우저 자동화
• Memory MCP: 대화 간 컨텍스트 유지
• Atlassian MCP: Jira/Confluence 연동

# librechat.yaml MCP 설정 예시
mcpServers:
  clickhouse:
    type: sse
    url: "http://clickhouse-mcp:3000/sse"
    timeout: 60000
  filesystem:
    command: npx
    args: ["-y", "@modelcontextprotocol/server-filesystem", "/data"]
  memory:
    command: npx
    args: ["-y", "@modelcontextprotocol/server-memory"]

2.4 Code Interpreter API

안전한 샌드박스 코드 실행 환경을 제공합니다.

지원 언어:

• Python, Node.js (JS/TS)
• Go, C/C++, Java
• PHP, Rust, Fortran, Rscript

특징:

• 완전 격리된 실행 환경 (프라이버시 보장)
• 파일 업로드/다운로드
• 세션 기반 파일 관리

2.5 Artifacts: 생성형 UI

Claude.ai의 Artifacts 기능과 유사하게, React, HTML, Mermaid 다이어그램을 실시간으로 생성하고 수정할 수 있습니다.

• 모든 설정된 모델에서 사용 가능
• 생성된 결과물 반복 수정
• 코드 인터프리터와 연동 가능 (2025 로드맵)

2.6 RAG (Retrieval Augmented Generation)

사내 문서 기반 질의응답 기능을 제공합니다.

지원 형식: PDF, DOCX, TXT, MD 등 벡터 DB: pgvector 기반 임베딩: OpenAI, HuggingFace 모델 선택 가능

3. 엔터프라이즈 보안 및 인증

3.1 인증 옵션

LibreChat은 기업 환경에 필요한 다양한 인증 방식을 지원합니다.

OAuth2/OIDC:

• Google, GitHub, Facebook, Apple, Discord
• Azure Entra ID (AD)
• AWS Cognito
• Keycloak, Auth0, Authelia, Authentik

SAML:

• Auth0 SAML
• 기타 SAML 2.0 호환 IdP

LDAP/Active Directory:

• LDAPS (SSL) 지원
• StartTLS 지원
• 보안 그룹 기반 접근 제어

# .env LDAP 설정 예시
LDAP_URL=ldaps://ldap.company.com:636
LDAP_USER_SEARCH_BASE=OU=Users,DC=company,DC=com
LDAP_BIND_DN=CN=svcaccount,OU=Service,DC=company,DC=com
LDAP_BIND_CREDENTIALS=your-password
LDAP_SEARCH_FILTER=(&(mail={{username}})(memberOf=CN=AI-Chat-Users,OU=Groups,DC=company,DC=com))

3.2 접근 제어 및 거버넌스

• 도메인 제한: 특정 이메일 도메인만 가입 허용
• 역할 기반 접근 제어 (RBAC): 모델별, 기능별 권한 관리
• Agent ACL: Agent 공유 및 접근 권한 세분화
• 토큰 사용량 관리: 사용자별 토큰 할당 및 모니터링
• 감사 로그: 모든 대화 및 작업 추적

3.3 2025 Admin Panel (예정)

2025년 중반 출시 예정인 Admin Panel은 웹 기반 CMS로서:

• 사용자/역할/그룹 관리
• 사용량 모니터링 및 제한
• librechat.yaml 설정의 GUI화
• 역할/사용자 수준 설정 적용

4. ClickHouse와의 통합: Agentic Data Stack

💡 핵심: 2025년 11월, ClickHouse가 LibreChat을 인수하면서 오픈소스 Agentic Data Stack의 핵심 컴포넌트가 되었습니다. LibreChat은 MIT 라이선스로 100% 오픈소스를 유지합니다.

🚀 지금 바로 체험하기: AgentHouse Demo

ClickHouse는 Agentic Data Stack의 공개 데모인 AgentHouse를 운영하고 있습니다.

🔗 https://llm.clickhouse.com

AgentHouse는 LibreChat UI + Anthropic Claude Sonnet + ClickHouse MCP 서버를 결합한 실제 작동하는 데모입니다. 다양한 공개 데이터셋(GitHub 이벤트, 부동산 가격, 뉴욕 택시, 날씨 데이터 등)에 대해 자연어로 질문하고, SQL 쿼리 생성 및 시각화 결과를 직접 확인할 수 있습니다.

시도해볼 질문 예시:

• "어떤 데이터셋이 있나요?"
• "2024년 ClickHouse GitHub 저장소의 월별 커밋 수를 막대 차트로 보여주세요"
• "뉴욕시에서 가장 위험한 지역은 어디인가요?"

4.1 Agentic Data Stack이란?

ClickHouse CEO Aaron Katz의 비전:

"데이터 기술의 모든 혁신은 질문과 답변 사이의 거리를 줄이는 것이었습니다. LibreChat과 결합하여 이제 누구나 페타바이트 데이터와 직접 대화하며 즉각적이고 실행 가능한 인사이트를 얻을 수 있습니다."

4.2 엔터프라이즈 검증 사례

Shopify:

"LibreChat은 Shopify 전사에서 거의 보편적으로 사용됩니다. 30개 이상의 내부 MCP 서버를 연결하여 회사 전체의 중요 정보에 대한 접근을 민주화합니다." — Matt Burnett, Senior Engineer

Daimler Truck:

"LibreChat은 빠르게 Daimler Truck North America의 모든 직원에게 배포되었습니다."

cBioPortal (의료 연구):

"ClickHouse, MCP, LibreChat 스택을 활용하여 암 유전체학과 치료 경로에 대해 기존 UI로는 불가능했던 새로운 질문을 할 수 있게 되었습니다."

ClickHouse 내부 (DWAINE):

• 200명 이상의 활성 사용자
• 데이터 웨어하우스 쿼리의 70%를 AI Agent로 처리
• 하루 3,300만 LLM 토큰 처리 (출시 1개월 후 1,500만에서 2배 증가)

4.3 통합 아키텍처

4.4 ClickHouse 분석 활용 예시

LibreChat 대화 데이터를 ClickHouse에 적재하면 다음과 같은 분석이 가능합니다:

4.5 실제 구성 참고

🔗 구성 리포지토리:

• Mac 환경: llm-mac-librechat-with-clickhouse
• Linux 환경: llm-linux-librechat-sole

5. Air-Gapped 환경 구성

5.1 Air-Gapped가 필요한 산업

5.2 완전 오프라인 배포 체크리스트

Step 1: Docker 이미지 사전 준비

Step 2: Ollama 모델 오프라인 준비

# 인터넷 환경에서 모델 다운로드
ollama pull llama3.3:70b
ollama pull qwen2.5:32b
ollama pull codellama:34b

# ~/.ollama/models/ 디렉토리를 Air-Gapped 환경으로 복사

Step 3: 네트워크 격리 검증

# 외부 연결 차단 확인 (실패해야 정상)
docker exec librechat-api curl -s --connect-timeout 5 https://api.openai.com
# Expected: Connection timeout

# 내부 통신 확인 (성공해야 정상)
docker exec librechat-api curl -s http://ollama:11434/api/tags
# Expected: {"models":[...]}

6. 2025 로드맵

6.1 출시 예정 기능 (v0.7.8~v0.7.9)

• 파일을 텍스트로 업로드: claude.ai처럼 파일 내용을 프롬프트에 직접 포함
• 제공자별 파일 전송: Google Video/Document Understanding, Anthropic PDF 지원
• Gemini 검색 기반: Google Search Grounding
• UI 리프레시: 현대화된 랜딩 화면, 메시지 UI 개선
• Mixture-of-Agents (실험적): 여러 LLM을 조합한 Chain-of-thought

6.2 2025 중점 기능: Admin Panel

• 웹 기반 CMS로 LibreChat 관리
• 사용량, 채팅, 사용자, 설정, 접근 제어 관리
• librechat.yaml 설정의 GUI화
• 역할/사용자 수준 설정 적용

예정 출시: 2025년 6~7월

6.3 계획된 기능

• OAuth Client Credentials Flow for Actions
• OpenAI 호환 API for LibreChat Agents
• MCP Resources 지원
• 사용자별 메모리
• 팀/그룹/워크스페이스 생성
• Deep Research 도구
• OpenAI Realtime Audio + Gemini Multimodal
• S3/S3-like 파일 스토리지

6.4 ClickHouse 통합 로드맵

• ClickHouse Cloud 인스턴스와 네이티브 통합
• 확장된 데이터 시각화 지원
• 엔터프라이즈급 보안 및 거버넌스
• 시맨틱 레이어 통합

7. 정리

7.1 LibreChat 핵심 요약

7.2 적합한 사용 케이스

7.3 시작하기

공식 리소스:

• 문서: https://www.librechat.ai/docs
• GitHub: https://github.com/danny-avila/LibreChat
• 데모: https://chat.librechat.ai
• 2025 로드맵: https://www.librechat.ai/blog/2025-02-20_2025_roadmap

활용 코드:

ClickHouse, MCP, Librechat 통합 배포 (Mac 환경)

clickhouse-hols/local/llm-mac-librechat-with-clickhouse at main · litkhai/clickhouse-hols

ClickHouse Hands-on Labs . Contribute to litkhai/clickhouse-hols development by creating an account on GitHub.

github.com

Librechat 단독 배포 (Linux 환경)

clickhouse-hols/local/llm-linux-librechat-sole at main · litkhai/clickhouse-hols

ClickHouse Hands-on Labs . Contribute to litkhai/clickhouse-hols development by creating an account on GitHub.

github.com