Pipelines API

파이프라인(Pipeline)은 데이터 처리 흐름을 정의하는 워크플로우입니다. 노드(Dataset, Code)와 엣지(연결)로 구성됩니다.

1. Create Pipeline

새로운 파이프라인을 생성합니다.

Request

POST /pipelines/

Body Schema (Pipeline)

Field	Type	Required	Description
name	string	Yes	파이프라인 이름
steps	array[PipelineStep]	Yes	파이프라인 구성 단계(노드) 목록
options	object	No	실행 옵션 (스케줄링 등)

PipelineStep Object

Field	Type	Description
name	string	단계 이름 (노드 ID)
script	string	실행할 스크립트 또는 명령
inputs	map[string, PipelineData]	입력 데이터 연결 정보
outputs	map[string, PipelineData]	출력 데이터 연결 정보

Example

{
  "name": "daily_etl_pipeline",
  "steps": [
    {
      "name": "read_source",
      "script": "read_csv",
      "outputs": {
        "out": { "dataset": "source_dataset_id" }
      }
    },
    {
      "name": "transform",
      "script": "python_script_id",
      "inputs": {
        "in": { "dataset": "source_dataset_id" }
      },
      "outputs": {
        "result": { "dataset": "target_dataset_id" }
      }
    }
  ]
}

2. Update Pipeline

파이프라인 구성을 수정합니다.

Request

PUT /pipelines/{pipeline_id}

Body Schema (PipelineUpdate)

Field	Type	Description
steps	array[PipelineStep]	전체 단계(노드) 재정의
options	object	옵션 변경
metadata	object	UI 레이아웃 정보 등 메타데이터

3. Delete Pipeline

파이프라인을 삭제합니다. 실행 중인 배치가 있는 경우 실패할 수 있습니다.

Request

DELETE /pipelines/{pipeline_id}