워크플로우 실행
설계한 파이프라인을 저장하고 실행하는 방법과 모니터링 기능을 알아봅니다.
저장 (Save)
실행하기 전에 반드시 변경 사항을 저장해야 합니다.
상단 툴바의 저장(Save) 버튼을 클릭하거나 단축키 Ctrl+S를 사용합니다. 컬렉션·폴더 컨텍스트 없이 진입한 경우 저장 시 위치 선택 단계가 표시됩니다.
유효성 검사
연결·필수 설정 누락 여부는 실행 전에 검사됩니다. 문제가 있으면 실행이 진행되지 않고 해당 노드가 표시됩니다.
수동 실행 (Manual Run)
batch 파이프라인
- 상단 툴바의 Run 버튼(재생 아이콘)을 클릭합니다.
- 실행이 시작되면 버튼이 Stop으로 변경되고, 캔버스의 연결선들이 애니메이션으로 흐름을 표시합니다.
- 실행을 중단하려면 Stop 버튼을 클릭합니다.
event 파이프라인
- 상단 툴바의 Register 버튼을 클릭하여 이벤트 리스너를 등록합니다. 구독할 토픽은 파이프라인의
options.event값으로 정의되어 있어야 합니다. - 파이프라인이 Listening 상태로 전환되며, 이벤트 수신 시 자동으로 실행됩니다.
- 이벤트 수신을 중단하려면 Unregister 버튼을 클릭합니다.
등록(Register)/등록 해제(Unregister) 버튼은 event 파이프라인에만 표시되고, batch 파이프라인에는 실행(Run)/중지(Stop) 버튼이 표시됩니다.
스케줄링 (Scheduling)
주기적으로 파이프라인을 실행하려면:
- 상단 툴바의 Settings (톱니바퀴 아이콘)을 클릭합니다.
- Schedule 탭에서 주기를 설정합니다.
- 설정을 저장하면 파이프라인 목록에 Schedule 배지가 표시됩니다.
자세한 스케줄링 설정 방법은 스케줄링 문서를 참고하세요.
모니터링 (Monitoring)
실시간 상태
실행 중에는 각 노드 상단에 상태 표시(아이콘·라벨, 처리 레코드 수·소요 시간)가 나타나고, 실행 중인 노드에는 글로우 효과가 적용됩니다.
| 상태 | 설명 |
|---|---|
| 실행 중 (running) | 현재 실행 중 |
| 성공 (ok / ready) | 성공적으로 완료 |
| 실패 (error / failed) | 실행 실패 |
| 대기 (pending) | 의존성 노드 완료 대기 |
실행 이력 바
상단 툴바의 실행 이력 바는 저장된 파이프라인의 최근 실행을 색으로 보여줍니다.
- 각 막대는 개별 실행 건이며, 색으로 성공/실패를 구분합니다.
- 막대에 호버하면 실행 번호·상태·시각·소요 시간이 표시됩니다.
- 배치별 상세와 스텝 로그는 코드 노드의 히스토리 탭에서 확인합니다.
배치 상세 정보
코드 노드의 히스토리 탭에서 배치를 선택하면 다음을 확인할 수 있습니다.
- 배치 상태와 소요 시간
- 스텝별 상태: 각 스텝의 실행 결과와 시작/종료 시각
- 에러 상세: 실패한 스텝의 설명과 스택트레이스
에러 처리
실행 실패 시 확인 사항
- 실패한 코드 노드를 선택해 인스펙터를 엽니다.
- 히스토리 탭에서 실패한 배치를 선택합니다.
- 실패한 스텝의 설명과 스택트레이스를 확인합니다(복사 가능).
일반적인 오류 유형
| 오류 유형 | 원인 | 해결 방법 |
|---|---|---|
| Connection Error | 데이터 소스 연결 실패 | 네트워크, 인증 정보 확인 |
| Schema Mismatch | 스키마 불일치 | 입출력 스키마 매핑 확인 |
| Code Error | Python/SQL 코드 오류 | 코드 문법, 로직 수정 |
| Resource Limit | 리소스 부족 | 데이터 크기 축소, 파티션 조정 |
| Timeout | 실행 시간 초과 | 쿼리 최적화, 타임아웃 설정 조정 |