임베딩

임베딩 모델은 생성형 모델과 마찬가지로 강력한 신경망을 사용하여 의미적 컨텍스트를 포착하고 압축합니다. Voyage AI의 숙련된 AI 연구팀은 다음을 포함하여 임베딩 프로세스의 모든 구성 요소를 최적화합니다:

• 모델 아키텍처
• 데이터 수집
• 손실 함수
• 옵티마이저 선택

Voyage AI의 기술적 접근 방식에 대한 자세한 내용은 Voyage AI 블로그에서 확인하세요.

범용 임베딩의 경우 권장 모델은 다음과 같습니다:

• voyage-4-large: 최고 품질
• voyage-4-lite: 가장 낮은 지연 시간과 비용
• voyage-4: 균형 잡힌 성능

검색의 경우 input_type 매개변수를 사용하여 텍스트가 쿼리 유형인지 문서 유형인지 지정하세요.

도메인 특화 모델:

• 법률 작업: voyage-law-2
• 코드 검색 및 에이전트 코딩: voyage-code-4
• 금융 관련 작업: voyage-finance-2

청크 수준 및 문서 수준 검색: voyage-context-4

텍스트, 이미지, 동영상: voyage-multimodal-3.5

Voyage AI 임베딩은 내적 유사도, 코사인 유사도 또는 유클리드 거리와 함께 사용할 수 있습니다. 임베딩 유사도에 대한 설명은 이 벡터 유사도 가이드를 참조하세요.

Voyage AI 임베딩은 길이 1로 정규화되어 있으며, 이는 다음을 의미합니다:

• 코사인 유사도는 내적 유사도와 동일하며, 후자가 더 빠르게 계산될 수 있습니다.
• 코사인 유사도와 유클리드 거리는 동일한 순위 결과를 생성합니다.

MongoDB 문서의 Tokenization을 참조하세요.

모든 검색 작업 및 사용 사례(예: RAG)에서 input_type 매개변수를 사용하여 입력 텍스트가 쿼리인지 문서인지 지정하세요. input_type을 생략하거나 input_type=None으로 설정하지 마세요. 입력 텍스트가 쿼리인지 문서인지 지정하면 검색을 위한 더 나은 밀집 벡터 표현을 생성할 수 있으며, 이는 더 나은 검색 품질로 이어질 수 있습니다.

input_type 매개변수를 사용하면 임베딩 전에 입력 텍스트 앞에 특수 프롬프트가 추가됩니다. 구체적으로:

📘 input_type과 관련된 프롬프트

• 쿼리의 경우 프롬프트는 "Represent the query for retrieving supporting documents: "입니다.
• 문서의 경우 프롬프트는 "Represent the document for retrieval: "입니다.
• 예시
  • input_type="query"인 경우, "When is Apple's conference call scheduled?"와 같은 쿼리는 "Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?"가 됩니다.
  • input_type="document"인 경우, "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."와 같은 문서는 "Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."가 됩니다.

임베딩에서 "quantization"(양자화)은 32비트 단정밀도 부동 소수점 숫자와 같은 고정밀 값을 8비트 정수나 1비트 이진 값과 같은 저정밀 형식으로 변환하여 스토리지, 메모리 및 비용을 각각 4배와 32배 줄입니다. 지원되는 Voyage AI 모델은 output_dtype 매개변수로 출력 데이터 유형을 지정하여 양자화를 활성화합니다:

• float: 반환되는 각 임베딩은 32비트(4바이트) 단정밀도 부동 소수점 숫자의 목록입니다. 이것이 기본값이며 가장 높은 정밀도 / 검색 정확도를 제공합니다.
• int8 및 uint8: 반환되는 각 임베딩은 각각 -128에서 127, 0에서 255 범위의 8비트(1바이트) 정수 목록입니다.
• binary 및 ubinary: 반환되는 각 임베딩은 비트 패킹된 양자화 단일 비트 임베딩 값을 나타내는 8비트 정수 목록입니다. binary의 경우 int8, ubinary의 경우 uint8입니다. 반환되는 정수 목록의 길이는 임베딩 실제 차원의 1/8입니다. binary 유형은 다음 예시에서 보여주듯이 오프셋 이진 방식을 사용합니다.

이진 양자화 예시

다음 8개의 임베딩 값을 생각해 보세요: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094, 0.03994751. 이진 양자화를 사용하면 0 이하의 값은 이진수 0으로, 양수 값은 이진수 1로 양자화되어 다음과 같은 이진 시퀀스가 생성됩니다: 0, 1, 0, 0, 1, 1, 0, 1. 그런 다음 이 8개의 비트는 단일 8비트 정수 01001101로 패킹됩니다(가장 왼쪽 비트가 최상위 비트).

• ubinary: 이진 시퀀스가 직접 변환되어 부호 없는 정수(uint8) 77로 표현됩니다.
• binary: 이진 시퀀스는 오프셋 이진 방식(77 - 128 = -51)을 사용하여 계산된 부호 있는 정수(int8) -51로 표현됩니다.

각 데이터 유형을 지원하는 모델은 Atlas Embedding and Reranking API 문서의 Create text embeddings를 참조하세요.

Matryoshka 학습은 단일 벡터 내에 거친 표현부터 세밀한 표현까지 담은 임베딩을 생성합니다. voyage-code-4와 같이 여러 출력 차원을 지원하는 Voyage AI 모델은 이러한 Matryoshka 임베딩을 생성합니다. API에서 더 짧은 벡터를 얻으려면 output_dimension을 전달하세요(예: output_dimension=256). 이미 저장한 벡터를 줄이려면 앞쪽 차원의 부분 집합만 남기고 잘라낸 다음 다시 정규화하세요. 예를 들어, 다음 Python 코드는 1024차원 벡터를 256차원으로 잘라내는 방법을 보여줍니다:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# voyage-code-4 벡터를 생성합니다. 기본적으로 1024차원 부동소수점 숫자입니다
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-4").embeddings

# 더 짧은 차원을 설정합니다
short_dim = 256

# 벡터를 더 짧은 차원으로 크기 조정하고 정규화합니다
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()