What is Vearch?
AI 애플리케이션을 구축하는 과정에서 대량의 임베딩 벡터를 다루는 경우가 많습니다. 이러한 대규모 데이터 세트 내에서 가장 유사한 벡터를 빠르고 안정적으로 찾는 것은 매우 중요한 과제입니다. Vearch는 이러한 문제 해결을 위해 특별히 설계된 클라우드 네이티브 분산 벡터 데이터베이스로, AI 프로젝트에서 효율적인 유사성 검색을 위한 강력한 기반을 제공합니다. 이를 통해 대규모 벡터 데이터를 관리하고 쿼리할 수 있으며, 필요에 따라 복잡한 쿼리를 지원하면서도 손쉽게 확장할 수 있습니다.
주요 기능
🔍 하이브리드 검색 수행: 벡터 유사성 검색과 기존 스칼라 필터링을 단일 쿼리에서 결합합니다. 이를 통해 벡터 간의 근접성뿐만 아니라 특정 메타데이터 속성을 기반으로 결과를 검색하여 더욱 정확하고 관련성 높은 결과를 얻을 수 있습니다.
⚡ 고성능 검색 구현: 수백만, 심지어 수십억 개의 벡터 객체를 검색하고 밀리초 내에 결과를 얻을 수 있습니다. Vearch는 Faiss를 기반으로 구축된 Gamma 엔진을 활용하여 실시간 애플리케이션에 중요한 낮은 지연 시간의 인덱싱 및 검색을 위해 최적화되었습니다.
📈 원활하고 안정적인 확장: 분산 아키텍처를 기반으로 구축된 Vearch는 탄력적인 확장을 통해 증가하는 데이터 세트와 쿼리 로드를 처리합니다. Raft 합의를 사용한 데이터 복제는 높은 가용성과 내결함성을 보장하여 애플리케이션을 오류로부터 보호합니다.
실용적인 애플리케이션
AI 프레임워크용 메모리 백엔드: Vearch를 널리 사용되는 AI 개발 프레임워크와 직접 통합합니다. Langchain, LlamaIndex, Langchaingo 또는 LangChain4j의 벡터 저장소로 사용하여 검색 증강 생성(RAG), 시맨틱 검색 또는 대화형 AI와 관련된 애플리케이션을 구축하여 임베딩 메모리 관리 프로세스를 간소화합니다.
대규모 시각적 검색: 정교한 이미지 검색 시스템을 구현합니다. 실제 시나리오에서 입증된 바와 같이 Vearch는 시각적 유사성을 기반으로 수십억 개의 이미지를 인덱싱하고 검색할 수 있습니다. Vearch와 이미지 특징 추출 도구를 결합하여 전자 상거래, 콘텐츠 조정 또는 디지털 자산 관리를 위한 강력한 시각적 검색 엔진을 구축할 수 있습니다.
시맨틱 검색 기능 강화: 애플리케이션에서 키워드 일치를 뛰어넘습니다. Vearch에 텍스트 임베딩을 저장하여 사용자가 시맨틱 의미와 컨텍스트를 기반으로 검색할 수 있도록 하여 지식 베이스, 문서 검색 시스템 또는 고객 지원 플랫폼에서 보다 직관적이고 정확한 검색 경험을 제공합니다.
Vearch 아키텍처 개요
기본 구조에 관심 있는 분들을 위해 Vearch는 세 가지 주요 구성 요소로 구성됩니다.
Master: 클러스터 메타데이터, 스키마 정의를 관리하고 시스템 전체에서 리소스를 조정합니다.
Router: 데이터 작업(upsert, 삭제, 검색, 쿼리)을 위한 RESTful API를 노출하고, 적절한 파티션으로 요청 라우팅을 처리하고, 결과를 병합합니다.
PartitionServer (PS): 데이터 파티션을 저장하여 벡터 및 스칼라 데이터를 모두 관리합니다. 핵심 Gamma 엔진을 사용하여 인덱싱 및 검색을 처리하고, 일관성 및 안정성을 위해 Raft를 통해 데이터 복제를 보장합니다.
Vearch 시작하기
Vearch는 유연한 배포를 제공합니다.
Kubernetes: Helm 차트를 사용하여 전체 클러스터를 배포합니다.
Docker Compose: 테스트 또는 개발을 위해 독립 실행형 또는 클러스터 모드를 빠르게 설정합니다.
Docker Image: 공식 컨테이너 이미지를 사용하여 Vearch를 직접 실행합니다.
Source Code: 사용자 정의 빌드를 위해 소스에서 직접 컴파일하고 배포합니다.
Python 및 Go용 SDK를 사용할 수 있으며, Java 지원은 현재 개발 중이므로 기존 애플리케이션에 쉽게 통합할 수 있습니다.
마무리
벡터 임베딩에 대한 빠르고 정확하며 확장 가능한 유사성 검색에 의존하는 AI 애플리케이션을 구축하는 데 관련된 작업이 있다면 Vearch는 전용 고성능 솔루션을 제공합니다. 하이브리드 검색 기능은 안정적인 분산 아키텍처 및 표준 AI 도구와의 통합과 결합되어 개발자가 정교한 벡터 검색을 프로젝트에 통합하려는 경우 강력한 선택이 될 것입니다.

More information on Vearch
Vearch 대체품
더보기 대체품-
LLM이 사용자의 데이터와 컨텍스트를 기반으로 작업할 수 있도록 관리형 또는 자체 호스팅 벡터 데이터베이스를 사용하세요.
-
-
클라이언트-벡터-검색 라이브러리를 탐색해 보세요: 벡터를 간편하게 넣고, 저장하고, 검색하고, 캐싱하세요. 효율적인 벡터 검색 능력으로 앱을 향상시키세요.
-
Elasticsearch의 오픈 소스 벡터 데이터베이스에서 벡터 검색 및 하이브리드 검색을 구축하세요. BM25 텍스트 검색의 선도 업체가 제공합니다. Elasticsearch의 벡터 데이터베이스를 무료로 사용해 보세요.
-
PGVecto.rs는 Postgres 확장 프로그램으로, 확장 가능한 벡터 검색을 가능하게 하여 Postgres 데이터베이스 위에 강력한 유사성 기반 애플리케이션을 구축할 수 있도록 지원합니다.