코드
코드는 파이프라인에서 사용되는 재사용 가능한 코드 아티팩트입니다. D.Hub에서는 Python과 SQL 스크립트를 코드 리소스로 등록하여 파이프라인 단계(Step)에서 참조하고 실행할 수 있습니다.
코드 개요
코드 리소스는 다음과 같은 역할을 합니다.
- 재사용성: 한 번 작성한 코드를 여러 파이프라인에서 반복 사용할 수 있습니다.
- 버전 관리: 코드 변경 이력이 버전별로 관리됩니다.
- 분류 체계: 카테고리와 태그를 통해 코드를 체계적으로 분류합니다.
- 컬렉션 연동: 컬렉션에 포함하여 관련 데이터셋, 파이프라인과 함께 그룹으로 관리합니다.
지원 언어
D.Hub 코드 아티팩트가 지원하는 프로그래밍 언어는 다음과 같습니다.
| 언어 | 용도 | 설명 |
|---|---|---|
| Python | 데이터 처리, AI/ML | Pandas, Polars, PyArrow 등 데이터 처리 라이브러리 활용 |
| SQL | 데이터 조회, 변환 | 분석 데이터베이스 쿼리 및 데이터 변환 작업 |
파이프라인 Step에서 코드를 실행할 때, language 필드에 따라 적절한 실행 환경이 자동으로 선택됩니다. Python 코드는 워크플로우 엔진에서, SQL 코드는 분석 데이터베이스에서 실행됩니다.
코드 상세 화면
컬렉션 트리에서 코드 아이템을 선택하면 오른쪽 패널에 상세 정보가 표시됩니다.
코드 뷰어
코드 뷰어는 등록된 스크립트의 내용을 구문 강조(Syntax Highlighting)와 함께 표시합니다.
- 구문 강조: Python과 SQL 각각에 맞는 구문 강조가 적용됩니다.
- 줄 번호: 코드 왼쪽에 줄 번호가 표시되어 특정 위치를 참조하기 편리합니다.
- 복사: 코드 전체를 클립보드에 복사할 수 있습니다.
메타데이터
코드 리소스에는 다음과 같은 메타데이터가 포함됩니다.
| 필드 | 설명 |
|---|---|
| Name | 코드의 고유 식별자 |
| Alias | 사용자에게 표시될 별칭 |
| Category | 리소스 분류 (기본값: code) |
| Type | 코드 유형 (사용자 정의) |
| Tags | 검색 및 분류를 위한 태그 목록 |
| Groups | 접근 제어를 위한 그룹 지정 |
| Comment | 코드에 대한 설명 |
코드 이름은 파이프라인 Step의 script 필드에서 참조됩니다. 직관적이고 일관된 네이밍 규칙을 사용하면 파이프라인 구성 시 코드를 찾기 쉽습니다.
코드 생성 및 편집
템플릿 마법사로 생성
컬렉션의 Create New 기능 또는 템플릿 기반 생성을 통해 코드를 새로 생성할 수 있습니다.
- 코드 이름, 언어, 카테고리를 입력합니다.
- 코드 에디터에서 스크립트를 작성합니다.
- 필요한 메타데이터(태그, 설명)를 추가합니다.
- Create 버튼을 클릭하여 저장합니다.
코드 수정
등록된 코드를 수정하면 새로운 버전이 생성됩니다. 이전 버전은 유지되므로 필요 시 이전 상태로 되돌릴 수 있습니다.
버전 관리
코드 리소스는 오브젝트 스토리지에 버전별로 저장됩니다.
- 버전 목록: 코드의 모든 버전을 시간순으로 확인할 수 있습니다.
- 버전 간 비교: 두 버전을 선택하여 변경 내역을 비교할 수 있습니다.
- 특정 버전 조회: 과거 버전의 코드 내용을 확인할 수 있습니다.
코드를 수정하면 해당 코드를 참조하는 파이프라인의 동작에 영향을 줄 수 있습니다. 수정 전에 관련 파이프라인을 확인하세요.
자세한 버전 관리 방법은 버전 관리 문서를 참고하세요.
파이프라인에서의 활용
코드 아티팩트는 파이프라인 Step의 script 필드를 통해 참조됩니다. 하나의 코드가 여러 파이프라인에서 재사용될 수 있으며, 파이프라인 실행 시 해당 코드가 자동으로 로드되어 실행됩니다.
파이프라인 구성에 대한 자세한 내용은 파이프라인 (컬렉션) 문서를 참고하세요.
다음 단계
- 파이프라인 (컬렉션) — 컬렉션 내 파이프라인 관리
- 버전 관리 — 리소스 버전 관리 시스템
- 템플릿 기반 생성 - 코드 마법사 — 코드 생성 마법사 사용법