웹 수집
지식 상세 화면에서 시작 URL과 수집 범위를 설정해 웹 페이지를 가져옵니다. 처리가 끝나면 수집한 내용이 검색과 AI 채팅에 사용됩니다.
정적인 HTML 페이지와 자바스크립트로 렌더링되는 페이지를 수집합니다. 수집한 내용은 설정한 방식으로 나누어 검색 색인에 등록합니다.
새 웹 크롤링 작업 생성
지식 상세 화면의 문서 탭에서 문서 추가 → 웹 크롤링을 선택합니다.
영역: 기본 정보와 크롤링 전략·탐색 범위·청킹 옵션이 표시된 웹 크롤링 생성 화면. URL은 docs.example.com을 사용합니다.
기본 정보
| 항목 | 필수 | 설명 |
|---|---|---|
| 이름 | 필수 | 메타데이터와 API에서 사용할 문서 식별자를 입력합니다. |
| 별칭 | 선택 | 목록에 표시할 이름을 입력합니다. 비우면 이름과 동일하게 설정됩니다. |
| URL | 필수 | 수집을 시작할 웹 페이지 주소를 입력합니다. 예: https://docs.example.com |
| 설명 | 선택 | 크롤링 작업에 대한 메모를 입력합니다. |
| 태그 | 선택 | 분류와 검색에 사용할 태그를 입력합니다. |
이름을 입력한 뒤 별칭·설명·태그의 AI 생성 버튼을 누르면 제안을 표시합니다. 제안을 검토하고 필요한 내용을 수정합니다.
크롤링 옵션
기본 정보를 입력한 뒤 크롤링 및 인덱싱 옵션을 펼쳐 수집 범위를 설정합니다.
크롤링 전략
| 전략 | 설명 | 사용하는 경우 |
|---|---|---|
너비 우선 (BFS) | 같은 깊이의 페이지를 먼저 수집한 후 다음 깊이로 이동합니다. | 여러 섹션을 같은 깊이까지 수집합니다. 기본값입니다. |
깊이 우선 (DFS) | 한 경로를 끝까지 탐색한 후 다음 경로로 이동합니다. | 특정 하위 경로를 먼저 수집합니다. |
최적 우선 (BEST_FIRST) | 링크 중요도 점수가 높은 페이지부터 수집합니다. | 점수 순서로 페이지를 수집합니다. |
탐색 범위
| 옵션 | 기본값 | 범위 | 설명 |
|---|---|---|---|
| 최대 깊이 | 3 | 1~10 | 시작 URL부터 탐색할 링크 깊이를 지정합니다. |
| 최대 페이지 | 100 | 1~10,000 | 수집할 최대 페이지 수를 지정합니다. |
추가 옵션
| 옵션 | 기본값 | 설명 |
|---|---|---|
| Sitemap 사용 | 활성화 | sitemap.xml의 URL 목록을 수집에 사용합니다. |
| robots.txt 확인 | 활성화 | robots.txt에서 차단한 경로를 건너뜁니다. |
| 외부 링크 제외 | 활성화 | 시작 URL과 다른 도메인의 링크를 건너뜁니다. |
인덱싱 옵션
수집한 콘텐츠를 색인할 검색 방식을 선택합니다.
| 검색 모드 | 설명 |
|---|---|
시맨틱 전용 (VECTOR) | 의미 벡터로 비슷한 내용을 찾습니다. |
키워드 전용 (TEXT) | 검색어가 포함된 내용을 찾습니다. |
하이브리드 (HYBRID) | 의미 검색과 키워드 검색 결과를 함께 사용합니다. |
검색 방식의 선택 기준은 청킹 및 검색 옵션에서 확인합니다. 문서를 처리한 뒤 같은 검색어로 결과를 비교합니다.
청킹 옵션
크롤링한 콘텐츠를 검색 단위로 나누는 설정입니다. 청킹 옵션을 펼쳐 현재 값을 확인합니다. 전략과 값의 선택 기준은 청킹 및 검색 옵션에서 확인합니다.
크롤링 작업 모니터링
크롤링 작업이 시작되면 작업 상세 화면에서 진행 상황을 확인합니다. 진행 중에는 상태가 5초 간격으로 갱신됩니다.
작업 상태
| 상태 | 설명 |
|---|---|
| 처리 중 | 크롤링을 진행합니다. |
| 일시 정지 | 처리가 일시 정지된 상태입니다. |
| 완료 | 크롤링과 인덱싱이 끝났습니다. |
| 실패 | 오류로 크롤링이 중단되었습니다. |
| 취소됨 | 사용자가 작업을 취소했습니다. |
상태별 제어 버튼
작업 상태에 따라 헤더 영역에 다른 제어 버튼이 표시됩니다.
| 현재 상태 | 사용 가능한 버튼 | 동작 |
|---|---|---|
| 처리 중 | 취소 | 진행 중인 크롤링을 중단합니다. |
| 일시 정지 | 취소 | 일시 정지 상태의 크롤링을 취소합니다. |
| 완료 | 다시 크롤링 | 같은 설정으로 크롤링을 다시 시작합니다. |
| 실패 | 다시 크롤링 | 실패한 크롤링을 다시 시도합니다. |
| 취소됨 | 다시 크롤링 | 취소한 크롤링을 다시 시작합니다. |
진행 상황 표시
크롤링이 진행 중이면 상세 페이지 상단에 인덱싱 상태 카드가 나타납니다. 이 카드는 현재 상태와 진행 메시지를 담고 5초 간격으로 자동 갱신합니다.
크롤링이 끝나면 상태 카드를 닫고 생성된 청크 목록을 확인합니다.
청크 목록
크롤링이 끝나면 생성된 청크를 페이지별 표에서 확인합니다.
| 컬럼 | 설명 |
|---|---|
| # | 청크 순번 |
| 유형 | 청크 유형(TEXT, IMAGE) |
| 내용 | 청크 내용 미리보기 |
표의 행을 누르면 청크 상세 패널이 열립니다. 전체 내용을 확인하고 이전 또는 다음 청크로 이동합니다.
문서 관리
작업 상세 페이지에서 크롤링 결과 문서의 설명을 편집하거나 문서를 삭제합니다.
- 설명 편집: 문서 설명을 추가하거나 수정합니다.
- 문서 삭제: 문서와 관련된 모든 청크와 임베딩을 영구 삭제합니다.
문서를 삭제하면 해당 문서의 모든 청크와 임베딩이 영구적으로 제거됩니다. 이 작업은 되돌릴 수 없습니다.
다음 단계
- 지식 관리 검색 테스트 — 수집한 문서가 예상대로 검색되는지 확인합니다.
- 청킹 및 검색 옵션 — 문서 분할과 검색 방식의 선택 기준을 확인합니다.
- 지식 관리 AI 채팅 — 검색된 문서를 근거로 질문하고 인용을 확인합니다.