직원이 ChatGPT에 사내 문서를 붙여 넣는 순간, 그 데이터는 외부 서버로 빠져나간다. 2023년 삼성전자 반도체 부문에서 엔지니어 3명이 기밀 소스코드와 회의록을 ChatGPT에 입력해 유출 사고가 터졌고, 삼성은 곧바로 전사적 생성형 AI 사용 금지 조치를 내렸다. IBM 조사에 따르면 AI 관련 보안 사고를 겪은 기업 중 97%가 접근 제어를 제대로 갖추지 못한 상태였고, 그중 60%는 데이터 유출로 이어졌다.
이런 상황에서 "AI를 쓰되 데이터는 밖으로 내보내지 않겠다"는 요구가 폭발적으로 늘고 있다. 여기에 정확히 부합하는 도구가 Onyx다. 오픈소스, 셀프호스팅, 40개 이상의 업무 도구 연동, 그리고 에어갭(air-gapped) 환경 배포까지 지원하는 기업용 AI 플랫폼이다.
이 글에서는 Onyx의 핵심 기능과 아키텍처, 기존 SaaS형 엔터프라이즈 검색 서비스와의 차이점, 실제 도입 시 고려해야 할 사항까지 구체적으로 다룬다.
| 항목 | 내용 |
|---|---|
| 이름 | Onyx (구 Danswer) |
| 설립 | 2023년, 샌프란시스코 |
| 창업자 | Yuhong Sun, Chris Weaver |
| 라이선스 | MIT (Community Edition) |
| 투자 | 1,000만 달러 시드 라운드 (Khosla Ventures, First Round Capital 공동 리드) |
| 주요 고객 | Netflix, Ramp, Thales Group 등 1,000개 이상 팀 |
| 핵심 기술 | 하이브리드 검색 + RAG + LLM 기반 지식 그래프 |
| 배포 방식 | Docker, Kubernetes, Terraform, 클라우드, 에어갭 |
| 연동 커넥터 | Slack, Notion, Confluence, Google Drive 등 40개 이상 |
| 보안 인증 | SOC 2 Type II, GDPR 준수 |
Onyx란 무엇인가 — Danswer에서 시작된 기업용 AI 검색의 진화
Onyx는 원래 Danswer라는 이름으로 2023년 GitHub에 공개된 오픈소스 프로젝트다. Y Combinator W24 배치 출신인 Yuhong Sun과 Chris Weaver가 공동 창업했으며, 기업 내부 문서와 앱에 흩어진 정보를 자연어로 검색하고 답변받을 수 있는 AI 어시스턴트를 목표로 개발되었다. 빠르게 개발자 커뮤니티에서 주목받으면서 이름을 Onyx로 바꾸고, 본격적인 엔터프라이즈 시장 공략에 나섰다.
2025년 3월, Onyx는 Khosla Ventures와 First Round Capital이 공동 리드한 1,000만 달러 규모의 시드 라운드를 마감했다. Y Combinator와 Gokul Rajaram(Coinbase 이사) 등 유명 엔젤 투자자도 참여했다. 투자금 확보 시점에 이미 Netflix, Ramp, Thales Group 등 수십 개 기업이 실전 환경에서 운영 중이었고, 공식 사이트 기준 1,000개 이상의 팀이 Onyx를 주요 AI 인터페이스로 사용하고 있다.
핵심 콘셉트는 단순하다. "사내 ChatGPT를 만들되, 데이터는 내 서버 안에 둔다." 직원이 "지난달 마케팅 예산 보고서 어디 있어?"라고 질문하면, Onyx가 Notion 문서, Confluence 위키, Slack 대화 기록, Google Drive 파일 등을 뒤져 정확한 답변과 출처를 제공한다. 이 모든 검색과 추론 과정이 기업 자체 서버 내에서만 이루어지므로 외부 클라우드로 데이터가 빠져나갈 경로 자체가 차단된다.
** Onyx의 Community Edition은 MIT 라이선스로 완전 무료다. Docker 환경이 갖춰져 있다면 명령어 한 줄(curl -fsSL https://onyx.app/install_onyx.sh | bash)로 설치가 가능하며, 별도의 라이선스 키나 사용자 수 제한 없이 핵심 기능을 전부 활용할 수 있다.
기업 AI 도입의 최대 걸림돌, 데이터 보안 문제를 어떻게 해결하는가
기업이 생성형 AI를 도입할 때 가장 먼저 부딪히는 벽은 보안이다. 2025년 IBM 보고서에 따르면 전체 조사 대상 기업의 13%가 AI 모델이나 애플리케이션을 통한 데이터 유출을 경험했다. 국내 설문에서도 LLM 도입 시 민감 데이터 유출을 가장 큰 우려 사항으로 꼽은 응답자가 64.5%에 달했다. AI 도구의 생산성은 인정하면서도 기밀 정보가 외부 서버로 전송되는 구조적 리스크를 감수하기 어렵다는 딜레마다.
Onyx는 이 문제를 아키텍처 레벨에서 원천 차단한다. 셀프호스팅 방식이므로 모든 데이터 처리가 기업 내부 인프라에서 완결된다. 외부 LLM API(OpenAI, Anthropic, Google 등)를 연결해 사용할 수도 있지만, 보안이 극도로 중요한 환경에서는 Ollama나 vLLM 같은 로컬 LLM을 연결해 완전한 에어갭 배포가 가능하다. 이 경우 인터넷 연결 자체가 필요 없으므로 국방, 금융, 의료 등 규제가 엄격한 산업군에서도 도입할 수 있다.
| 비교 항목 | ChatGPT Enterprise | Onyx (셀프호스팅) | Glean |
|---|---|---|---|
| 데이터 저장 위치 | OpenAI 서버 | 기업 자체 서버 | Glean 클라우드 |
| 에어갭 배포 | 불가 | 가능 | 불가 |
| LLM 선택 자유도 | GPT 모델만 | 모든 LLM (OpenAI, Anthropic, Ollama 등) | 제한적 |
| 소스코드 공개 | 비공개 | MIT 라이선스 오픈소스 | 비공개 |
| 가격 (월/사용자) | 60달러 이상 | 무료 (CE) / 20달러 (Cloud) | 50달러 이상 |
| SOC 2 인증 | 있음 | Type II 인증 완료 | 있음 |
| 커넥터 수 | 제한적 | 40개 이상 | 100개 이상 |
보안 측면에서 Onyx는 SOC 2 Type II 인증을 획득했고 GDPR을 준수한다. SSO(OIDC/SAML/OAuth2), RBAC(역할 기반 접근 제어), 자격 증명 암호화를 기본 제공하며, 외부 앱에서 설정한 사용자별 문서 접근 권한을 그대로 미러링하는 문서 퍼미셔닝 기능도 갖추고 있다. Slack에서 특정 채널에 접근 권한이 없는 직원이 Onyx를 통해 해당 채널의 대화 내용을 검색할 수 없다는 뜻이다.
** Onyx가 외부 LLM API(예: OpenAI API)를 사용하도록 설정한 경우, 프롬프트와 컨텍스트 데이터는 해당 LLM 서비스 제공업체로 전송된다. 완전한 데이터 격리가 필요하다면 반드시 로컬에서 구동하는 오픈소스 LLM(Ollama, vLLM 등)을 연결해야 한다.
** Thales Group처럼 방위산업 기업도 Onyx를 운영 환경에서 사용하고 있다. 이는 에어갭 배포와 문서 퍼미셔닝 기능이 실제 보안 요구사항을 충족한다는 간접적 근거가 된다.
핵심 기능 분석 — 단순 검색을 넘어선 AI 에이전트 플랫폼
Onyx를 단순한 "기업용 검색 엔진"으로 이해하면 기능의 절반만 파악한 것이다. 현재 Onyx는 검색, 대화, 에이전트, 코드 실행, 외부 시스템 연동까지 아우르는 포괄적 AI 플랫폼으로 발전했다.
하이브리드 검색과 RAG 아키텍처
Onyx의 검색 엔진은 Vespa.ai를 기반으로 한다. BM25 키워드 검색과 벡터 시맨틱 검색을 결합한 하이브리드 방식에, LLM 기반 지식 그래프와 컨텍스트 리트리벌까지 더해 정확도를 끌어올렸다. 공식 벤치마크에 따르면, 220,000건의 사내 문서에서 99개의 실제 업무 질문을 테스트한 결과 Onyx는 ChatGPT 대비 64% 승률, Claude 대비 68.1% 승률, Notion AI 대비 76% 승률을 기록했다. 두 명의 독립 LLM 심사관이 블라인드 평가한 수치다.
커스텀 에이전트와 Deep Research
사용자는 고유한 지시사항(instructions), 지식 소스, 액션을 조합해 맞춤형 AI 에이전트를 구성할 수 있다. 예를 들어 "영업팀 에이전트"는 CRM 데이터와 제품 문서에만 접근하고, "개발팀 에이전트"는 GitHub 리포지토리와 Jira 티켓만 참조하도록 설정하는 식이다. Deep Research 기능은 다단계 에이전틱 검색을 수행해 복잡한 질문에 대한 심층 답변을 생성한다.
MCP(Model Context Protocol)와 액션
Onyx는 MCP를 지원해 AI 에이전트가 외부 시스템과 직접 상호작용할 수 있다. 단순히 정보를 가져오는 것을 넘어, 티켓 생성, 문서 업데이트, 알림 전송 같은 실질적인 액션을 수행하도록 구성할 수 있다.
코드 인터프리터와 이미지 생성
데이터 분석이 필요할 때 코드 인터프리터가 코드를 실행해 그래프를 렌더링하거나 파일을 생성한다. 프롬프트 기반 이미지 생성 기능도 내장되어 있다.
| 기능 | 설명 | 대상 부서 |
|---|---|---|
| 하이브리드 검색 + RAG | BM25 + 벡터 검색 + 지식 그래프로 정확한 사내 문서 검색 | 전사 |
| 커스텀 에이전트 | 부서별 맞춤 AI 어시스턴트 구성 | 영업, 개발, 지원 |
| Deep Research | 다단계 에이전틱 검색으로 복잡한 질문 해결 | 전략, 리서치 |
| MCP + 액션 | 외부 시스템과 양방향 연동 (티켓 생성, 문서 업데이트 등) | 개발, 운영 |
| 코드 인터프리터 | 코드 실행, 데이터 분석, 그래프 생성 | 데이터, 개발 |
| 40+ 커넥터 | Slack, Notion, Confluence, Google Drive, Jira, GitHub, Salesforce, HubSpot, Zendesk 등 | 전사 |
| 웹 검색 | Google PSE, Exa, Serper 연동 및 내장 스크래퍼 | 전사 |
| 협업 | 채팅 공유, 피드백 수집, 사용량 분석 | 관리자, 전사 |
** Onyx의 에이전트 시스템은 개인용과 팀 공유용으로 나뉜다. 팀 공유 에이전트를 만들 때는 관리자가 접근 가능한 커넥터와 지식 범위를 명확히 설정하는 것이 보안과 답변 품질 모두에 도움이 된다.
Glean과의 비교 — 오픈소스가 유료 SaaS를 대체할 수 있는가
엔터프라이즈 AI 검색 시장에서 가장 자주 비교되는 상대는 Glean이다. Glean은 70억 달러 이상의 기업가치를 인정받은 대표적 SaaS형 엔터프라이즈 검색 플랫폼이다. 커넥터 수(100개 이상), 사용자 경험 완성도, 즉시 사용 가능한 턴키 솔루션이라는 점에서 강점이 분명하다.
하지만 비용과 데이터 통제권에서 Onyx의 차별점이 뚜렷하다. Glean의 가격은 사용자당 월 50달러 이상이며, 최소 100석 이상의 연간 계약이 일반적이다. 첫해 총비용이 30만 - 100만 달러 이상이 되는 경우가 흔하다. 반면 Onyx CE는 무료이고, 클라우드 관리형 플랜도 사용자당 월 20달러에 불과하다.
데이터 주권 측면에서도 결정적 차이가 있다. Glean을 사용하면 사내 문서가 Glean 클라우드에 인덱싱된다. 계약 해지 시 데이터 이전이나 삭제 과정이 필요하다. Onyx 셀프호스팅은 처음부터 끝까지 기업 인프라 안에서 모든 것이 처리되므로 벤더 종속(vendor lock-in) 리스크가 구조적으로 존재하지 않는다.
Y Combinator 파트너 Jared Friedman은 Onyx를 "오픈소스 Glean"이라고 표현했다. 오픈소스 특성상 초기부터 대형 엔터프라이즈 고객을 확보할 수 있었다는 점도 언급했는데, 이는 소스코드를 직접 검토하고 보안 감사를 수행할 수 있다는 투명성이 의사결정에 큰 영향을 미쳤기 때문이다.
** Onyx CE는 강력하지만, 대규모 조직에서 운영할 때는 Enterprise Edition이 제공하는 고급 권한 관리, 우선 지원, 추가 보안 기능이 필요할 수 있다. 무료라는 이유만으로 CE를 선택하기보다, 조직 규모와 보안 요구사항에 맞는 에디션을 선택하는 것이 장기적으로 유리하다.
실전 도입 시 반드시 알아야 할 5가지 체크포인트
Onyx를 실무 환경에 도입한다면, 기능 목록만 보고 결정하는 것은 위험하다. 운영 현실에서 마주치는 실질적 고려사항 5가지를 정리한다.
첫째, 인프라 요구사항이 가볍지 않다. Onyx는 PostgreSQL, Redis, Vespa.ai 등 여러 컨테이너를 함께 구동한다. Docker Compose 기반으로 설치가 간편한 편이지만, 안정적 운영을 위해서는 최소 16GB RAM, 4코어 CPU, 충분한 디스크 공간이 필요하다. 수천만 건의 문서를 인덱싱하는 대규모 환경이라면 Kubernetes 배포를 검토해야 한다.
둘째, LLM 선택이 답변 품질을 결정한다. Onyx는 LLM에 구애받지 않는(agnostic) 구조이므로 OpenAI, Anthropic, Google Gemini 등 외부 API는 물론 Ollama를 통한 로컬 모델도 연결할 수 있다. 그러나 로컬 LLM의 성능은 클라우드 기반 대형 모델에 비해 한계가 있으므로, 보안과 품질 사이의 균형점을 조직 상황에 맞게 설정해야 한다.
셋째, 커넥터 설정에 시간을 투자해야 한다. 40개 이상의 커넥터를 지원하지만, 각 커넥터의 인증 설정(OAuth, API 키 등)과 인덱싱 범위 조정은 수동으로 진행해야 한다. 특히 문서 퍼미셔닝을 활성화하려면 각 외부 앱의 권한 체계와 Onyx의 RBAC을 정밀하게 매핑해야 한다.
넷째, 업데이트와 유지보수 부담이 존재한다. 오픈소스 프로젝트이므로 새 버전 업데이트, 보안 패치 적용, 백업 관리 등을 내부 DevOps 팀이 직접 수행해야 한다. 이런 운영 부담이 부담스럽다면 Onyx Cloud(관리형 서비스)를 선택하는 것도 방법이다.
다섯째, 한국어 지원 수준을 테스트해야 한다. Onyx의 검색 및 RAG 파이프라인은 기본적으로 영어에 최적화되어 있다. 한국어 문서 검색과 답변 생성은 연결하는 LLM의 다국어 성능에 크게 의존하므로, 도입 전 사내 한국어 문서로 PoC(개념 증명)를 진행해 품질을 확인하는 과정이 필수적이다.
** Onyx 도입을 검토할 때, 먼저 Docker로 로컬에 설치한 후 Notion이나 Google Drive 커넥터 1-2개만 연결해 소규모 PoC를 진행하는 것을 권장한다. 전체 인프라를 구축하기 전에 답변 품질, 인덱싱 속도, 관리 UI 사용성을 미리 검증할 수 있다.
생성형 AI 시대, 데이터 통제권을 확보하는 전략적 선택
기업이 생성형 AI를 활용하는 방식은 크게 두 갈래로 나뉘고 있다. 하나는 ChatGPT Enterprise나 Glean처럼 외부 SaaS를 도입하고 계약과 정책으로 데이터 보안을 담보하는 방식이다. 다른 하나는 Onyx처럼 오픈소스 플랫폼을 자체 인프라에 배포해 물리적으로 데이터 유출 경로를 차단하는 방식이다.
어느 쪽이 정답이라고 단정할 수는 없다. IT 인력과 인프라가 충분한 조직이라면 Onyx의 셀프호스팅이 비용과 보안 양면에서 강력한 선택지다. 빠른 도입과 운영 편의성이 우선이라면 Glean이나 Onyx Cloud가 현실적이다. 다만 분명한 것은, "AI를 안 쓴다"는 선택지는 이미 경쟁력 상실을 의미한다는 점이다.
Onyx는 기업이 AI의 생산성은 취하면서 데이터 주권은 포기하지 않아도 되는 구조를 제시한다. Netflix, Ramp, Thales Group 같은 기업이 이미 검증한 이 모델이 의미하는 바는 명확하다. 기술적으로 가능할 뿐 아니라, 실전에서 작동한다.
사내 AI 도입을 고민 중이라면, Onyx GitHub 리포지토리를 포크하고 Docker로 한 시간만 투자해 직접 구동해 보는 것이 가장 빠른 판단 근거가 된다.