청킹 및 검색 옵션

청킹은 문서를 검색 단위인 청크로 나누는 과정입니다. 이 문서는 청킹 전략, 청크 크기, 임베딩 모델과 검색 방식을 선택할 때 사용하는 기준을 정리합니다.

먼저 화면에 표시된 기본값으로 문서를 처리하고 검색 결과 확인하기에서 결과를 확인합니다. 필요한 문서가 검색되지 않거나 문서 조각의 범위가 적절하지 않을 때만 옵션을 조정합니다.

청킹 전략

전략 이름만으로 결과를 판단하지 않습니다. 같은 문서의 일부를 서로 다른 전략으로 처리한 뒤 검색 결과의 범위와 순서를 비교합니다.

기존 문서는 자동으로 다시 처리되지 않습니다

청킹 전략과 값은 문서를 추가할 때 문서별로 저장됩니다. 이미 처리된 문서는 다른 문서에 새 설정을 사용해도 바뀌지 않습니다.

재인덱싱은 해당 문서에 저장된 청킹 설정을 다시 사용합니다. 기존 문서를 다른 설정으로 나누려면 문서를 삭제한 뒤 원하는 설정으로 다시 추가합니다. 검색 방식이나 임베딩 모델을 바꾸는 전체 초기화와는 다른 작업입니다.

화면의 기본값과 허용 범위는 다음과 같습니다.

옵션	기본값	범위	영향
최대 청크 길이	500	100~4,000	값이 작으면 검색 단위가 세분화되고, 값이 크면 한 결과에 더 많은 문맥이 포함됩니다.
오버랩 길이	50	0~500	인접 청크에 반복해서 포함할 범위를 정합니다. 값이 크면 중복되는 내용도 늘어납니다.

에이전틱 전략은 공통 값을 사용하지 않고 화면에 표시되는 전용 값을 사용합니다.

중단점 유형은 문서에 따라 결과가 달라집니다. 각 유형으로 만든 청크의 경계와 검색 결과를 비교해 선택합니다.

임베딩 모델은 시맨틱 검색을 위해 텍스트를 수치 벡터로 변환합니다. 사용할 수 있는 모델은 시스템 구성에 따라 달라지므로 지식 생성 화면이나 설정 탭의 목록을 확인합니다.

모델을 선택할 때는 다음 항목을 실제 문서로 시험합니다.

차원 수가 크다고 항상 더 정확한 결과를 내는 것은 아닙니다. 모델 이름이나 차원 수만으로 선택하지 않습니다.

임베딩 모델 변경

문서를 추가한 뒤 임베딩 모델을 바꾸려면 기존 문서와 청크를 초기화해야 합니다. 지식 설정 변경하기의 초기화 절차를 먼저 확인합니다.

필요한 방식은 문서와 질문에 따라 다릅니다. 대표 검색어를 정한 뒤 검색 결과 확인하기에서 각 방식의 결과를 비교합니다.