파이프라인 설정
파이프라인의 메타데이터, 환경 변수, 배포 옵션을 관리하는 방법을 설명합니다. 설정은 워크플로우 편집기 상단 툴바의 Settings (톱니바퀴 아이콘)에서 접근할 수 있습니다.
파이프라인 메타데이터
General 탭
파이프라인의 기본 정보를 설정합니다.
| 항목 | 설명 | 필수 |
|---|---|---|
| 이름 (Name) | 파이프라인의 표시 이름 | 필수 |
| 설명 (Description) | 파이프라인의 목적과 기능 설명 | 선택 |
| 태그 (Tags) | 분류 및 검색을 위한 태그 목록 | 선택 |
| 소유자 (Owner) | 파이프라인 소유자 (생성 시 자동 설정) | 자동 |
태그를 활용하면 파이프라인 목록에서 관련 파이프라인을 빠르게 필터링할 수 있습니다. 예: etl, daily, sales, ml-inference
이름 변경
파이프라인 이름은 두 가지 방법으로 변경할 수 있습니다:
- 편집기 상단: 파이프라인 제목을 직접 클릭하여 인라인 편집
- Settings 패널: General 탭의 Name 필드에서 수정 후 Save
환경 변수 설정
파이프라인 실행 시 모든 Code 노드에서 접근할 수 있는 환경 변수를 정의합니다.
Environment 탭
| 항목 | 설명 |
|---|---|
| Key | 환경 변수 이름 (대문자 + 언더스코어 권장) |
| Value | 환경 변수 값 |
| Secret | 민감 정보 여부 (활성화 시 값이 마스킹 표시) |
사용 예시
| 변수 | 용도 | 예시 값 |
|---|---|---|
API_KEY | 외부 서비스 인증 키 | sk-xxxx... |
DB_CONNECTION_STRING | 데이터베이스 연결 문자열 | postgresql://... |
ENV | 실행 환경 구분 | production, staging |
BATCH_SIZE | 처리 배치 크기 | 10000 |
Code 노드에서 환경 변수를 참조하는 방법:
import os
api_key = os.environ.get("API_KEY")
batch_size = int(os.environ.get("BATCH_SIZE", "1000"))
Secret으로 표시된 환경 변수의 값은 UI에서 마스킹되지만, Code 노드 실행 시 평문으로 접근됩니다. 로그에 민감 정보가 출력되지 않도록 주의하세요.
배포 구성
파이프라인이 Kubernetes에서 실행될 때의 리소스와 환경을 구성합니다.
Runtime 탭
컨테이너 이미지
| 항목 | 설명 | 기본값 |
|---|---|---|
| Image | 파이프라인 실행에 사용할 Docker 이미지 | 시스템 기본 이미지 |
| Image Pull Policy | 이미지 풀 정책 | IfNotPresent |
커스텀 패키지가 필요한 경우 별도의 Docker 이미지를 빌드하여 지정할 수 있습니다. 기본 이미지에는 pandas, polars, pyarrow 등 주요 데이터 처리 라이브러리가 포함되어 있습니다.
리소스 요청/제한
Kubernetes Pod의 CPU 및 메모리 리소스를 설정합니다:
| 항목 | 설명 | 기본값 |
|---|---|---|
| CPU Request | 최소 보장 CPU | 100m |
| CPU Limit | 최대 사용 가능 CPU | 1000m |
| Memory Request | 최소 보장 메모리 | 256Mi |
| Memory Limit | 최대 사용 가능 메모리 | 1Gi |
대용량 데이터 처리 파이프라인의 경우 Memory Limit을 충분히 높게 설정하세요. 메모리 부족 시 OOMKilled 에러로 배치가 실패합니다.
전역 쓰기 모드
파이프라인 내 모든 Dataset 출력 노드에 적용되는 기본 쓰기 모드를 설정합니다:
| 모드 | 설명 |
|---|---|
| Append | 기존 데이터에 추가 |
| Overwrite | 기존 데이터를 덮어쓰기 |
| Merge | 키 기준으로 병합 (Upsert) |
개별 Dataset 노드에서 쓰기 모드를 별도로 설정하면 전역 설정보다 우선 적용됩니다.
버전 관리
파이프라인은 저장할 때마다 새로운 버전이 생성됩니다.
버전 이력
| 항목 | 설명 |
|---|---|
| 버전 번호 | 저장 시 자동 증가하는 버전 번호 |
| 저장 시각 | 해당 버전이 생성된 시각 |
| 변경자 | 변경을 수행한 사용자 |
버전 관리 기능
- 이력 조회: 파이프라인의 모든 저장 이력을 확인할 수 있습니다.
- 비교: 두 버전 간의 노드 구성, 코드, 설정 차이를 비교할 수 있습니다.
- 롤백: 이전 버전으로 되돌릴 수 있습니다.
롤백은 현재 버전을 이전 버전의 상태로 덮어쓰는 작업입니다. 롤백 자체도 새로운 버전으로 기록되므로, 롤백 이전 상태로 다시 돌아갈 수 있습니다.