OpenSearch 3.0 Released
OpenSearch 3.0 发布:增强向量数据库性能
OpenSearch 3.0 增强向量数据库性能、搜索基础设施和可扩展性,以满足 AI 驱动的需求
By OpenSearchMay 6, 2025No Comments
最新版本加强了开放、可扩展、社区驱动的搜索和分析能力,实现了可持续创新。
旧金山 – 2025 年 5 月 6 日 – OpenSearch Software Foundation,即 OpenSearch Project 的供应商中立之家,今天宣布 OpenSearch 3.0 正式发布。这个主要版本相比 OpenSearch 1.3 性能提升了 9.5 倍,基于基准测试数据,显示早期版本的 OpenSearch 的运行速度比最接近的行业竞争对手快 1.6 倍。
当今的 AI 应用,如生成式 AI、混合搜索、检索增强生成 (RAG) 和推荐引擎,严重依赖向量数据库来查找海量、复杂数据集中的模式。但是,随着向量数量激增至数十亿,许多组织在速度、成本和可扩展性方面都面临挑战。Forrester 强调,由于传统数据库在支持现代向量多维数据和执行相似性搜索方面存在局限性,它们已无法满足生成式 AI 日益增长的需求。
OpenSearch 3.0 解决了这一挑战,使用户能够通过新的数据管理、AI 代理和向量搜索功能来提高效率、提供卓越性能并加速 AI 应用的开发。同时,诸如 GPU 支持的功能等增强功能可以将成本降低 3.75 倍。
OpenSearch Software Foundation 理事会主席兼 Amazon Web Services (AWS) 产品管理总监 Carl Meadows 表示:“企业搜索市场正在随着 AI 的加速而飞速发展,预计到 2030 年将达到 89 亿美元。OpenSearch 3.0 是我们支持社区的重要一步,它提供了一个开放、可扩展的平台,专为搜索和分析的未来而构建,它体现了我们对开放协作和创新的承诺,这些创新可以推动现实世界的影响。”
向量引擎创新提高了处理速度和效率
为了支持其大规模搜索平台并管理大量的向量数据,OpenSearch 引入了基于 GPU 的加速,利用 NVIDIA cuVS 进行索引工作流程。新的向量引擎功能包括:
- **OpenSearch Vector Engine 的 GPU 加速:**为大规模向量工作负载提供卓越的性能,同时通过减少索引构建时间来显著降低运营支出。通过启用 GPU 部署,这项实验性功能提高了数据密集型工作负载的性能,并将索引构建速度提高了高达 9.3 倍。
- **Model Context Protocol (MCP) 支持:**原生 MCP 支持允许 AI 代理轻松与 OpenSearch 通信,从而实现更全面、更可定制的 AI 驱动解决方案。
- **Derived Source:**通过删除冗余的向量数据源并利用主数据根据需要重新创建源文档以进行重新索引或源回调,从而减少了三分之一的存储消耗。
数据管理功能优化资源、增强灵活性并推动可扩展性
OpenSearch 3.0 在平台如何摄取、传输和管理数据方面提供了重大改进,包括:
- **gRPC 支持:**为 OpenSearch 部署启用更快、更高效的数据传输和数据处理。这项实验性功能提供了一种在 OpenSearch 中的客户端、服务器和节点到节点通信之间进行数据传输的新方法。
- **Pull-based Ingestion:**提高了摄取效率,并使 OpenSearch 能够更好地控制数据流以及何时检索数据,从而将数据源和数据消费者分离。这项实验性功能还允许用户从 Apache Kafka 和 Amazon Kinesis 等流式传输系统拉取数据。
- **Reader and Writer Separation:**通过单独配置索引和搜索工作负载,确保它们始终如一地保持高质量性能,从而使两种工作负载都能以最佳速度和规模运行,而不会因另一工作负载负担过重而降低效率。
- **Apache Calcite 集成:**通过将查询构建器集成到 OpenSearch SQL 和 PPL 中,实现直观、迭代的查询构建和探索。简化了安全性、可观察性和日志分析的用例。
- **Index Type Detection:**通过自动确定 OpenSearch 索引是否包含与日志相关的数据并加快日志分析功能的选择,来提高生产力。
核心升级有助于使 OpenSearch 的搜索平台和分析套件适应未来需求
对平台搜索基础设施的增强,包括删除旧代码、采用模块化架构以及与最新的 Java 改进保持一致,从而提高了可维护性、性能潜力和效率。更新包括:
- **Lucene 10 升级:**对平台的搜索基础设施进行现代化改造,以确保长期创新,改进索引和搜索功能,并提高并行任务执行的性能。
- **Java 21 最低支持运行时:**可以访问现代语言特性和性能改进。
- **Java Platform Module System 支持:**改进了组织,消除了顶级拆分包,并为将单片服务器模块重构为可分离的库奠定了基础。
OpenSearch 3.0 现已可用。有关更多信息和完整发行说明,请参阅官方发布博客。要了解有关 OpenSearch Software Foundation 的更多信息,包括如何参与、成为会员或做出贡献,请访问 foundation.opensearch.org/。
关于 OpenSearch Software Foundation
OpenSearch Software Foundation 是一个供应商中立的社区,致力于搜索、分析、可观察性和向量数据库软件。OpenSearch Software Foundation 由 Linux Foundation 托管,并由 AWS、SAP 和 Uber 等主要成员提供支持,与社区维护者、开发人员和成员组织合作,以推动 OpenSearch 项目的持续发展。自成立以来,该软件的下载量已超过 9 亿次,并有数千名贡献者参与,OpenSearch 项目及其社区正在改变信息的管理和发现方式。要了解更多信息,请访问 foundation.opensearch.org。
Linux Foundation 拥有注册商标和使用商标。有关 Linux Foundation 的商标列表,请参阅我们的商标使用页面。Linux 是 Linus Torvalds 的注册商标。
媒体联系人 Kristi Piechnik The Linux Foundation kpiechnik@linuxfoundation.org