핵심 개념
D.Hub를 효과적으로 활용하기 위해 알아야 할 핵심 개념들을 소개합니다. 각 구성 요소가 어떤 역할을 하고, 서로 어떻게 연결되는지 이해하면 플랫폼을 더 빠르게 활용할 수 있습니다.
구성 요소 관계도
아래 다이어그램은 D.Hub의 핵심 구성 요소들이 어떻게 연결되는지 보여줍니다.
Collection (컬렉션)
컬렉션은 D.Hub에서 리소스를 논리적으로 그룹화하는 최상위 컨테이너입니다. 프로젝트, 부서, 주제 등 원하는 기준으로 관련 리소스들을 하나로 묶어 관리할 수 있습니다.
하나의 컬렉션에는 다음 6종 리소스를 포함할 수 있습니다:
- Dataset — 구조화된 데이터 테이블
- Code — 재사용 가능한 코드 아티팩트
- Pipeline — 데이터 처리 워크플로우
- Knowledge — 비정형 문서 지식 저장소
- Dashboard — 데이터 시각화 대시보드
- Agent — LLM + 도구 기반 자율 실행 단위
6종 자원은 모두 폴더 안에 넣을 수 있고, 컬렉션 트리에 개별 항목으로 노출됩니다(컬렉션 = 자원의 거주지). 컬렉션을 활용하면 팀별 또는 프로젝트별로 데이터 자산을 체계적으로 정리하고, 접근 권한을 일괄 관리할 수 있습니다.
컬렉션은 또한 온톨로지의 스코프 단위이기도 합니다 — 1 컬렉션 = 1 온톨로지 스코프. 컬렉션을 만들면 그에 대응하는 온톨로지 스코프가 자동으로 생성되어, 의미 레이어를 컬렉션 경계에 정합시킵니다.
→ 자세히 알아보기: 컬렉션 관리
Dataset (데이터셋)
데이터셋은 구조화된 데이터를 저장하고 관리하는 단위입니다. D.Hub의 데이터셋은 버전 관리되는 테이블 형식으로 저장되어, 버전 관리와 스키마 관리를 자동으로 지원합니다.
데이터셋을 생성하는 방법:
- 빠른 추가 — 컬렉션 상세의 **+ 항목 추가 ▾ → 빠른 추가…**에서 CSV, JSON, Parquet 같은 파일을 빠르게 업로드해 데이터셋으로 등록합니다
- 데이터셋 생성 — + 항목 추가 ▾ → 데이터셋에서 서브타입과 스키마를 지정해 데이터셋 구조를 구성합니다
- API 호출 — REST API를 통해 프로그래밍 방식으로 생성합니다
각 데이터셋은 고유한 버전 이력을 가지며, SQL 또는 Python 쿼리를 통해 데이터를 조회하고 분석할 수 있습니다. 데이터셋 상세 화면에서는 데이터, 스키마, 참조 관계를 확인할 수 있습니다.
→ 자세히 알아보기: 데이터셋 위자드
Code (코드)
코드는 D.Hub 내에서 재사용 가능한 코드 아티팩트를 관리하는 리소스입니다. Python 스크립트와 SQL 쿼리를 작성하고, 이를 파이프라인의 노드로 연결하여 데이터 처리에 활용할 수 있습니다.
지원하는 코드 유형:
| 유형 | 용도 |
|---|---|
| Python | 데이터 변환, API 호출, 복잡한 비즈니스 로직 구현 |
| SQL | 데이터 조회, 집계, 테이블 간 조인 처리 |
AI Assistant의 코드 생성 기능을 활용하면 자연어로 요구사항을 설명하여 코드를 자동 생성할 수도 있습니다.
→ 자세히 알아보기: 코드 위자드
Pipeline (파이프라인)
파이프라인은 데이터 처리 과정을 시각적으로 설계하고 실행하는 워크플로우 시스템입니다. 노드 기반 편집기에서 드래그 앤 드롭으로 데이터 흐름을 구성하고, 워크플로우 엔진을 통해 자동 실행합니다.
파이프라인의 핵심 구성:
- 노드(Node) — 개별 처리 단계 (데이터 읽기, 변환, 저장 등)
- 엣지(Edge) — 노드 간의 데이터 흐름 연결
- 실행(Run) — 파이프라인의 단일 실행 인스턴스
파이프라인은 수동 실행 외에도 스케줄이나 이벤트 기반으로 자동 트리거할 수 있어, 반복적인 데이터 처리를 완전히 자동화할 수 있습니다.
→ 자세히 알아보기: 파이프라인 워크플로우 편집기
Ontology (온톨로지)
온톨로지는 데이터 간의 의미적 관계를 엔티티(Entity)와 관계(Relationship)로 모델링하는 기능입니다. 정의된 모델은 그래프 데이터베이스에 저장되어, 복잡한 데이터 관계를 직관적으로 탐색할 수 있습니다.
온톨로지의 주요 구성:
- 엔티티(Entity) — 실세계의 객체를 표현 (예: 사용자, 제품, 센서)
- 관계(Relationship) — 엔티티 간의 연결을 정의 (예: "소유한다", "위치한다")
- 속성(Property) — 엔티티와 관계에 부여되는 세부 정보
온톨로지 빌더에서 시각적으로 모델을 구성하고, 그래프 탐색기에서 관계 네트워크를 인터랙티브하게 탐색할 수 있습니다.
→ 자세히 알아보기: 온톨로지 개요
Knowledge (지식 관리)
Knowledge는 비정형 데이터를 수집하고 지식화하여 AI 기반 검색과 대화에 활용하는 기능입니다. 웹 페이지 크롤링, 파일 업로드, 수동 문서 작성 등 다양한 방법으로 문서를 수집하고, 이를 자동으로 청킹(Chunking)하고 임베딩(Embedding)하여 벡터 데이터베이스에 저장합니다.
수집된 지식은 RAG(Retrieval-Augmented Generation) 기반의 AI 채팅을 통해 자연어로 질의할 수 있습니다. 사용자의 질문에 대해 관련 문서를 검색하고, LLM이 문맥에 맞는 답변을 생성합니다.
지원하는 문서 수집 방법:
- 웹 크롤링 — URL을 지정하여 웹 페이지 자동 수집
- 파일 업로드 — PDF, DOCX, TXT 등 문서 파일 직접 업로드
- 수동 문서 — 에디터를 통한 수동 문서 입력
→ 자세히 알아보기: 지식 관리 개요
Dashboard (대시보드)
대시보드는 데이터를 시각적으로 표현하고 모니터링하는 기능입니다. 분석 데이터베이스를 백엔드로 활용하여 대규모 데이터에 대한 실시간 집계와 시각화를 빠르게 수행합니다.
대시보드의 핵심 기능:
- 위젯(Widget) — 차트, 테이블, 지표 등 다양한 시각화 컴포넌트
- 데이터 연결 — SQL 쿼리 또는 간단 모드로 데이터셋과 연결
- 실시간 갱신 — 데이터 변경 시 자동으로 시각화 업데이트
위젯 라이브러리에서 원하는 차트 유형을 선택하고, 데이터셋의 컬럼을 매핑하여 직관적인 대시보드를 구성할 수 있습니다.
→ 자세히 알아보기: 대시보드 개요
Agent (에이전트)
에이전트는 LLM과 도구를 연결해 사용자의 요청을 실행 가능한 작업 흐름으로 바꾸는 단위입니다. 에이전트는 컬렉션 안의 자원과 함께 관리되며, 배포 후 AI Assistant나 HITL 승인 흐름과 연결될 수 있습니다.
에이전트의 핵심 구성:
- 에이전트 정의 — 이름, 설명, 실행 방식, 사용할 모델과 도구 구성
- 도구(Tool) — 에이전트가 호출할 수 있는 외부 기능 또는 내부 작업
- 액터(Actor) — 특정 역할을 맡아 실행 흐름을 분담하는 단위
→ 자세히 알아보기: 에이전트 개요
다음 단계
핵심 개념을 이해했다면, 직접 플랫폼을 사용해 보세요.