AWS anunció recientemente… Disponibilidad general de búsqueda de vectores. Para Amazon MemoryDB, una base de datos administrada en memoria con disponibilidad en múltiples zonas de disponibilidad. La nueva capacidad ofrece una latencia extremadamente baja y el rendimiento de búsqueda de vectores más rápido con las tasas de recuperación más altas entre las bases de datos de vectores en AWS.
Lanzada en 2021, Amazon MemoryDB es una base de datos en memoria duradera y compatible con Redis. Ahora es la opción administrada recomendada para la búsqueda de vectores en AWS en escenarios como aplicaciones de IA generativa donde el máximo rendimiento es el criterio de selección más importante. Chani Yundefensor principal de los desarrolladores en AWS, el escribe:
Con la búsqueda vectorial de Amazon MemoryDB, puede utilizar la API de MemoryDB existente para implementar casos de uso de IA generativa, como recuperación de generación aumentada (RAG), detección de anomalías (fraude), recuperación de documentos y motores de recomendación en tiempo real. También puede crear incrustaciones de vectores utilizando servicios de inteligencia artificial y aprendizaje automático (AI/ML), como Amazon Bedrock y Amazon SageMaker, y almacenarlos en MemoryDB.
Los desarrolladores pueden crear incrustaciones de vectores utilizando servicios administrados como Amazon Bedrock y SageMaker y almacenarlos en MemoryDB para búsqueda RAG semántica en tiempo real, almacenamiento en caché semántico robusto de baja latencia y detección de anomalías en tiempo real.
Encuentra un vector para MemoryDB Admite el almacenamiento de millones de vectores mediante consultas de milisegundos de un solo dígito y proporciona tiempos de espera de actualización de mayor rendimiento con más del 99 % de recuperación. Yoon añade:
Con la búsqueda de vectores de MemoryDB, puede detectar fraude modelando transacciones fraudulentas basadas en sus modelos de aprendizaje automático por lotes y luego cargando transacciones normales y fraudulentas en MemoryDB para generar sus representaciones vectoriales mediante técnicas de análisis estadístico como el análisis de componentes principales (PCA).
Fuente: Blog de AWS
La nueva habilidad era Publicado en vista previa en re:Invent 2023 La última versión pública ofrece nuevas funciones y mejoras. Estas características incluyen: rango vectorialpermitiendo que la base de datos actúe como un caché semántico duradero y de baja latencia un resultadoque filtra mejor la similitud. Los campos vectoriales admiten la búsqueda de k vecinos más cercanos (KNN) para vectores de tamaño fijo utilizando algoritmos de búsqueda aplanada (FLAT) y mundos pequeños navegables jerárquicos (HNSW).
MemoryDB no es la única base de datos administrada en AWS que admite la búsqueda vectorial. Entre los diversos servicios dirigidos a cargas de trabajo de IA generativa, OpenSearch, Aurora PostgreSQL, RDS PostgreSQL, Neptune y DocumentDB introdujeron funcionalidades relacionadas con vectores el año pasado. Vinod Jogi, director de ingeniería de software del Bank of America, comentarios:
He estado siguiendo el mercado de bases de datos vectoriales, que ha crecido rápidamente con la aparición de muchos productos nuevos (…) Los expertos creen que el mercado se ha saturado, lo que dificulta que los nuevos productos se destaquen entre la abundancia de opciones existentes.
Shion Sanyal y Graham KochikLos arquitectos de soluciones de bases de datos dedicados de AWS brindan detalles sobre… Consideraciones clave al elegir una base de datos para aplicaciones de IA generativa. Sugieren:
Si ya utiliza OpenSearch, Aurora PostgreSQL, RDS para PostgreSQL, DocumentDB o MemoryDB, aproveche las capacidades de búsqueda vectorial para sus datos existentes. Para aplicaciones RAG basadas en gráficos, considere Amazon Neptune. Si sus datos están almacenados en DynamoDB, OpenSearch puede ser una excelente opción para buscar vectores sin integración ETL. Si aún no estás seguro, utiliza el servicio OpenSearch.
Todos los proveedores de la nube han introducido recientemente capacidades de búsqueda vectorial para competir con bases de datos vectoriales como piña Y sin sirviente memoria cachéPor ejemplo, InfoQ informó anteriormente sobre Google BigQuery y Microsoft Vector Search.
La búsqueda vectorial está disponible para Amazon MemoryDB versión 7.1 y configuración de chip único en todas las regiones donde la base de datos está disponible.
«Adicto a la música. Gurú del café. Especialista en zombis. Defensor de las redes sociales. Introvertido. Aficionado extremo a la comida. Evangelista del alcohol».