개요
파이프라인은 데이터 입력, 변환, 출력을 노드로 연결해 실행하는 작업입니다. 원본 데이터를 정제하거나 여러 소스를 합쳐 데이터셋과 온톨로지 자산에 저장할 때 사용합니다.
파이프라인을 사용하는 경우
| 작업 | 예시 |
|---|---|
| 데이터 형식 변환 | 날짜 형식을 맞추거나 필요한 컬럼만 남깁니다. |
| 여러 데이터 합치기 | 주문과 고객 데이터처럼 서로 다른 데이터셋을 조인합니다. |
| 결과 저장 | 변환 결과를 데이터셋, 엔티티, 관계에 기록합니다. |
| 반복 실행 | 정해진 일정이나 이벤트에 맞춰 같은 작업을 실행합니다. |
단순 조회나 시각화만 필요하면 데이터셋을 대시보드에 바로 연결합니다. 데이터에 변환·결합·반복 실행이 필요할 때 파이프라인을 만듭니다.
파이프라인 유형
| 유형 | 실행 시점 | 적합한 작업 |
|---|---|---|
| 배치 | 사용자가 실행하거나 저장한 일정에 따라 실행합니다. | 파일 적재, 정기 집계, 대량 변환 |
| 이벤트 | 등록한 이벤트가 들어오면 실행합니다. | 실시간 수집, 이벤트 후속 처리 |
유형은 파이프라인을 만들 때 정합니다. 이벤트 파이프라인에는 수신할 토픽을 하나 이상 설정하며 여러 토픽을 구독할 수 있습니다. 입력 규칙과 첫-토픽 +N 요약은 파이프라인 설정에서 확인합니다.
기본 작업 흐름
- 파이프라인을 만들고 저장할 컬렉션을 정합니다.
- 입력·처리·출력 노드를 추가합니다.
- 노드를 연결해 데이터 흐름을 정합니다.
- 필수 설정과 코드가 준비되면 파이프라인을 저장합니다.
- 파이프라인을 실행하고 각 단계의 상태와 결과를 확인합니다.
입력에는 데이터셋, 엔티티, 관계를 사용합니다. Python이나 SQL 코드 노드는 데이터를 처리하며 그 결과는 다시 데이터셋·엔티티·관계에 저장합니다.
반복되는 선택·필터, 조인, 유니온, 집계, 이름 변경·형 변환은 네이티브 변환 노드를 사용합니다. 임의 로직이나 외부 호출이 필요하면 Python·SQL 코드 노드를 사용합니다.
목록에서 여러 파이프라인을 선택하면 삭제를 순차 실행합니다. 일괄 실행·중지는 지원하지 않습니다. 현재 필터 결과 전체 선택, 제외 항목과 부분 실패 규칙은 첫 화면의 관리 목록 공통 동작에서 확인합니다.
실행 결과 확인하기
실행 중에는 노드마다 상태가 표시됩니다. 실행을 마치면 코드 노드의 히스토리 탭에서 단계별 상태, 실행 시간, 오류 내용을 확인합니다.
실패한 단계가 있으면 파이프라인 오류 확인하기에서 실행 기록과 스택트레이스를 확인합니다. 정기 실행이 필요하면 실행 일정 설정하기에서 주기를 지정합니다.
이어서 할 작업
- 파이프라인 편집기 사용하기에서 화면 영역과 편집 기능을 확인합니다.
- 노드 추가하기에서 데이터셋·코드·온톨로지 노드를 배치합니다.
- 파이프라인 실행하기에서 실행 결과와 오류를 확인합니다.