Skip to main content
Version: v0.1.0

Architecture & Technology

D.Hub 플랫폼을 구성하는 서비스 아키텍처와 기술 스택을 정리합니다. 이 페이지는 개발자와 시스템 관리자를 위한 레퍼런스로, 각 기술의 역할과 서비스 간 관계를 설명합니다.

서비스 아키텍처​

D.Hub는 세 개의 독립적인 백엔드 서비스와 하나의 프론트엔드로 구성됩니다.

서비스별 역할​

서비스역할주요 기능
D.Hub Manager코어 API 서버Collection, Dataset, Pipeline, Ontology, Dashboard, Auth, Admin API
D.Hub Knowledge BuilderRAG 파이프라인 서버문서 수집, 청킹, 임베딩, 멀티 스토리지 검색, Chat Completions API
D.Hub ChatwayAI 에이전트 서버대화형 어시스턴트, 도메인별 프롬프트, 데이터 탐색 도구
D.Hub Portal프론트엔드React 기반 웹 UI

기술 스택​

데이터 저장 & 검색​

기술역할D.Hub에서의 용도공식 문서
MinIOS3 호환 오브젝트 스토리지Manifest, 데이터셋 파일, 코드 아티팩트 저장min.io/docs
ClickHouse칼럼 기반 OLAP 데이터베이스데이터셋 테이블 쿼리, 대시보드 분석 엔진clickhouse.com/docs
Neo4j그래프 데이터베이스온톨로지 엔티티/관계 저장, Cypher 쿼리, Knowledge 그래프 검색neo4j.com/docs
Qdrant벡터 유사도 검색 엔진Knowledge 임베딩 벡터 저장, 의미 기반 검색qdrant.tech/documentation
Quickwit클라우드 네이티브 검색 엔진Knowledge BM25 텍스트 검색, 파이프라인 트레이스 저장quickwit.io/docs
Delta Lake레이크하우스 스토리지 레이어데이터셋 테이블 포맷 (ACID, 타임 트래블, 스키마 진화)delta.io/docs

워크플로우 & 이벤트​

기술역할D.Hub에서의 용도공식 문서
Prefect워크플로우 오케스트레이션파이프라인 실행, 스케줄링, 모니터링docs.prefect.io
Kafka / Redpanda메시지 스트리밍파이프라인 이벤트 트리거, 실시간 데이터 연동kafka.apache.org/documentation
Knative Eventing서버리스 이벤트 처리CloudEvents 기반 파이프라인 트리거, 자동 스케일링knative.dev/docs

인증 & 보안​

기술역할D.Hub에서의 용도공식 문서
OpenFGA관계형 접근 제어 (ReBAC)리소스별 세분화된 권한 관리 (Google Zanzibar 기반)openfga.dev/docs
JWT토큰 기반 인증Access Token / Refresh Token 발급 및 검증jwt.io
Argon2비밀번호 해싱로컬 인증 비밀번호 보안 저장argon2-cffi.readthedocs.io

데이터 처리 라이브러리​

기술역할D.Hub에서의 용도공식 문서
Polars고성능 DataFrame 라이브러리파이프라인 Python 코드의 기본 데이터 처리 엔진docs.pola.rs
Apache Arrow컬럼형 메모리 포맷데이터셋 스키마 타입 시스템, 데이터 전송arrow.apache.org/docs
PandasDataFrame 라이브러리파이프라인 Python 코드에서 선택적 사용pandas.pydata.org/docs

문서 처리 (Knowledge Builder)​

기술역할D.Hub에서의 용도공식 문서
Crawl4AIAI 기반 웹 크롤러Knowledge 웹 크롤링 엔진, SPA 동적 렌더링 지원docs.crawl4ai.com
Docling문서 파서PDF, DOCX, PPTX 등을 구조화된 텍스트로 변환ds4sd.github.io/docling

관측성 (Observability)​

기술역할D.Hub에서의 용도공식 문서
OpenTelemetry분산 추적파이프라인 실행 트레이스 수집 및 내보내기opentelemetry.io/docs

데이터 흐름​

파이프라인 실행 흐름​

Knowledge RAG 흐름​

다음 단계​