Gemini Embedding 2

Gemini Embedding 2란 무엇인가요?

Gemini Embedding 2는 Google 최초의 네이티브 멀티모달 임베딩 모델로서 인공지능 분야의 중요한 도약을 나타냅니다. 고급 Gemini 아키텍처를 기반으로 구축된 이 모델은 텍스트, 이미지, 비디오, 오디오 및 문서를 포함한 다양한 형태의 데이터를 처리하고 이해하여 단일 통합 임베딩 공간으로 매핑하는 독특한 능력을 갖추고 있습니다. 이 기능은 정교한 멀티모달 검색 및 분류 작업을 가능하게 하는 데 중요하며, AI 시스템이 다양한 미디어 유형과 100개 이상의 언어에 걸쳐 의미론적 의도를 파악할 수 있도록 합니다. Gemini Embedding 2는 이러한 다양한 데이터 양식을 통합된 표현으로 통합함으로써 복잡한 AI 파이프라인을 단순화하고 다운스트림 애플리케이션의 성능을 크게 향상시킵니다.

이 혁신적인 모델은 전통적인 텍스트 전용 임베딩 접근 방식을 넘어서 여러 데이터 유형을 동시에 네이티브로 수집하고 이해합니다. 이는 개발자가 단일 요청 내에서 이미지와 텍스트가 쌍을 이루는 것과 같은 인터리브된 입력을 모델에 직접 공급할 수 있음을 의미합니다. 이러한 네이티브 멀티모달 이해를 통해 Gemini Embedding 2는 다양한 미디어 간의 복잡하고 미묘한 관계를 포착하여 실제 데이터에 대한 더 정확하고 포괄적인 이해를 얻을 수 있습니다. 또한 Matryoshka Representation Learning(MRL)의 통합은 출력 차원의 유연성을 제공하여 사용자가 기본 3072에서 차원을 축소하여 성능 요구 사항과 저장 비용의 균형을 맞출 수 있도록 하며, 최적의 품질을 위해 3072, 1536 또는 768에서 권장 설정을 제공합니다.

주요 기능

• 네이티브 멀티모달: 단일 임베딩 공간 내에서 텍스트, 이미지, 비디오, 오디오 및 문서를 처리합니다.
• 교차 모달 이해: 다양한 미디어 유형과 100개 이상의 언어에 걸쳐 의미론적 의도를 포착합니다.
• 인터리브 입력 지원: 단일 요청에서 여러 모달리티(예: 이미지 + 텍스트)를 네이티브로 이해하고 처리합니다.
• 다양한 모달리티에 최적화:
  • 텍스트: 최대 8192개의 입력 토큰을 지원합니다.
  • 이미지: 요청당 최대 6개의 이미지를 처리합니다(PNG, JPEG).
  • 비디오: 최대 120초의 비디오 입력을 처리합니다(MP4, MOV).
  • 오디오: 전사 없이 오디오 데이터를 네이티브로 수집합니다.
  • 문서: 최대 6페이지 분량의 PDF를 직접 임베딩합니다.
• Matryoshka Representation Learning(MRL): 성능과 저장 공간의 균형을 맞추기 위한 유연한 출력 차원(기본 3072, 권장 3072, 1536, 768)을 지원합니다.
• 최첨단 성능: 텍스트, 이미지 및 비디오 작업에서 선도적인 모델을 능가하며 강력한 음성 기능을 제공합니다.
• 단순화된 파이프라인: 멀티모달 다운스트림 작업의 복잡성을 줄입니다.

Gemini Embedding 2 사용 방법

Gemini Embedding 2 시작하기는 개발자를 위한 여러 통합 지점을 제공하여 간단합니다. 이 모델은 Gemini API 및 Vertex AI를 통해 공개 미리 보기로 제공됩니다. 사용자는 Google에서 제공하는 대화형 Colab 노트북을 활용하여 모델의 기능을 학습하고 실험할 수 있습니다. 기존 AI 워크플로우에 원활하게 통합하기 위해 Gemini Embedding 2는 LangChain, LlamaIndex, Haystack, Weaviate, QDrant, ChromaDB 및 Vector Search를 포함한 인기 있는 개발 프레임워크 및 벡터 데이터베이스에서도 지원됩니다. 이러한 광범위한 호환성을 통해 개발자는 검색 증강 생성(RAG), 의미론적 검색, 감성 분석 및 데이터 클러스터링과 같은 작업을 위해 Gemini Embedding 2를 애플리케이션에 쉽게 통합할 수 있습니다.

사용 사례

• 향상된 검색 증강 생성(RAG): 텍스트, 이미지 및 기타 데이터 소스의 풍부한 멀티모달 컨텍스트를 대규모 언어 모델에 제공하여 RAG 시스템의 정확성과 관련성을 향상시킵니다.
• 멀티모달 의미론적 검색: 텍스트, 이미지 또는 오디오 스니펫을 사용하여 사용자가 정보를 검색할 수 있도록 다양한 데이터 유형을 결합하는 쿼리를 이해하는 강력한 검색 엔진을 개발합니다.
• 고급 데이터 분석 및 클러스터링: 텍스트, 이미지 및 비디오 콘텐츠 전반에 걸쳐 더 정교한 클러스터링 및 패턴 인식을 가능하게 하는 통합 공간에 임베딩하여 대규모의 다양한 데이터 세트를 분석합니다.
• 콘텐츠 관리 및 분류: 정책 위반을 감지하거나 콘텐츠를 더 높은 정확도로 분류하기 위해 이미지, 비디오 및 텍스트를 동시에 분석하는 보다 강력한 콘텐츠 관리 도구를 구축합니다.
• 개인화된 추천 시스템: 다양한 미디어 유형에 걸쳐 사용자 선호도를 이해하여 보다 맞춤화되고 관련성 있는 제안으로 이어지는 더 매력적인 추천 엔진을 만듭니다.

FAQ

• Gemini Embedding 2의 주요 이점은 무엇인가요? Gemini Embedding 2의 주요 장점은 텍스트, 이미지, 비디오, 오디오 및 문서를 단일 의미 공간으로 처리하고 임베딩할 수 있는 네이티브 멀티모달 기능입니다. 이전 모델은 일반적으로 텍스트 전용이었으며 멀티모달 데이터에 대한 복잡한 해결 방법이 필요했습니다.

• Gemini Embedding 2에 어떻게 액세스할 수 있나요? Gemini Embedding 2는 Gemini API 및 Google Cloud의 Vertex AI 플랫폼을 통해 공개 미리 보기로 제공됩니다. 또한 인기 있는 AI 개발 프레임워크 및 벡터 데이터베이스와 통합되어 있습니다.

• Gemini Embedding 2에 권장되는 출력 차원은 무엇인가요? 기본 출력 차원은 3072이지만 Matryoshka Representation Learning(MRL)을 통해 유연하게 확장할 수 있습니다. 최고의 품질을 위해 Google은 성능과 저장 비용의 균형을 맞추기 위해 3072, 1536 또는 768의 차원을 사용하는 것이 좋습니다.

• Gemini Embedding 2는 단일 요청에서 여러 유형의 데이터를 처리할 수 있나요? 예, Gemini Embedding 2는 인터리브된 입력을 네이티브로 이해하므로 더 미묘한 이해를 위해 동일한 요청 내에서 이미지와 텍스트와 같은 여러 모달리티를 전달할 수 있습니다.

• 어떤 종류의 성능 향상을 기대할 수 있나요? Gemini Embedding 2는 멀티모달 깊이에 대한 새로운 성능 표준을 수립하고 강력한 음성 기능을 제공하며 텍스트, 이미지 및 비디오 작업에서 선도적인 모델을 능가합니다. 이를 통해 광범위한 AI 애플리케이션에 대해 더 정확하고 포괄적인 결과를 얻을 수 있습니다.