모델 서빙

AI → 모델 서빙에서 D.Hub가 배포하는 모델과 외부 추론 엔드포인트를 운영합니다. 이 메뉴는 관리자와 매니저에게 표시됩니다.

다른 모델 설정과 구분하기

화면	용도
모델 서빙	내부 컨테이너 또는 외부 엔드포인트를 서비스로 운영합니다.
LLM 모델	에이전트·워크플로우·지식 AI 채팅에서 선택할 언어 모델을 등록합니다.
어시스턴트 모델	D.Hub 어시스턴트·AI 생성·보고서가 공통으로 사용할 활성 모델을 지정합니다.

목록 확인

목록에서 내부 / 외부 유형을 필터링합니다. 각 행에는 이름, 호출 프로토콜, 엔드포인트 또는 이미지, 준비 상태와 소유자가 표시됩니다. 여러 모델을 선택하면 일괄 삭제할 수 있습니다.

내부 모델 등록

1. 모델 만들기를 누르고 내부 배포를 선택합니다.
2. 이름·별칭·설명과 호출 프로토콜을 입력합니다.
3. 컨테이너 이미지와 포트, replica 수를 입력합니다.
4. CPU·메모리·GPU와 상태 확인 경로를 설정합니다.
5. 필요한 고급 실행 옵션을 확인하고 저장합니다.

호출 프로토콜은 OpenAI 채팅 / OpenAI 임베딩 / 사용자 정의 중에서 선택합니다. 클라이언트가 실제 엔드포인트와 같은 계약을 사용하도록 선택합니다.

외부 모델 등록

1. 모델 만들기에서 외부 엔드포인트를 선택합니다.
2. 호출 프로토콜과 외부 URL을 입력합니다.
3. 인증 방식과 필요한 시크릿 참조를 선택합니다.
4. 저장한 뒤 상세 화면에서 연결 정보와 준비 상태를 확인합니다.

인증 값을 일반 텍스트로 반복 입력하지 말고 시크릿에 저장한 키를 참조합니다.

상태 확인

모델 상세의 개요에서 준비 상태와 replica 상태를 확인합니다. 준비되지 않은 replica가 있으면 이미지·리소스·상태 확인 경로와 배포 이벤트를 점검한 뒤 다시 확인합니다.

내부 모델 아티팩트 관리

내부 모델의 아티팩트에서 ZIP 파일을 올리고 버전을 확인합니다.

• 배포에서 사용할 아티팩트 버전을 고정할 수 있습니다.
• 현재 배포나 다른 설정이 참조하는 버전은 참조를 해제하기 전까지 삭제할 수 없습니다.
• 새 버전을 고정한 뒤에는 준비 상태가 정상으로 돌아오는지 확인합니다.

편집과 삭제

행 작업에서 설정을 편집하거나 모델을 삭제합니다. 삭제하면 해당 엔드포인트를 사용하는 소비자가 실패할 수 있습니다. 내부 모델은 실행 중 배포와 아티팩트 참조를 먼저 확인합니다. 일괄 삭제는 각 항목의 성공·실패 결과를 따로 표시합니다.