03-Elasticsearch 在 AI 检索与 Serverless 模式成本优化的新特性 王亚宁 北京 20241214

本次议题将深入探讨 Elasticsearch 在 AI 检索和 Serverless 模式方面的最新进展，重点介绍如何利用这些新特性提升检索体验、快速搭建企业级 RAG 服务，以及在日志场景如何通过 Serverless 模式实现显著的成本优化和性能提升。 随着人工智能技术的迅猛发展，Elasticsearch作为一款强大的搜索引擎，也在不断地更新迭代，以适应新的检索需求和技术挑战。在2024年12月14日的北京会议上，王亚宁作为阿里云Elasticsearch的产品经理，详细介绍了Elasticsearch在AI检索和Serverless模式成本优化方面的最新特性。这些新特性对于提升检索体验、快速搭建企业级RAG（Retrieval-Augmented Generation）服务以及在日志场景中实现成本优化和性能提升具有重要意义。 AI技术驱动下的搜索技术发展已经使得向量搜索成为新一代搜索技术的发展方向。向量搜索是一种将非结构化数据转化为结构化的多维向量，并通过计算这些向量之间的距离来完成检索的方法。这种检索方式能够在召回相似度最高的结果时更加高效和准确，尤其适用于语义搜索、RAG和多模态搜索等多种应用场景。 在AI搜索方面，向量检索的核心在于如何处理和转换原始数据。数据预处理是关键步骤，需要将原始数据（如表格、文本、图片、音频等）转化为向量格式，以便搜索引擎能够进行高效计算和检索。这其中，向量数据构建、查询解析处理以及数据向量化是客户面临的痛点问题。传统搜索引擎和向量搜索引擎割裂的问题，使得业务处理变得复杂，性能和效果不理想。 为了解决上述问题，阿里云Elasticsearch推出了向量增强版，提供了更加强大的向量搜索能力。此版本支持混合搜索能力，包括带过滤的kNN搜索，高维向量字段类型，以及向量相似性函数等。此外，新版本引入了稀疏向量查询和RRF（Recurrent Relational Networks Framework），大大提升了余弦相似度的性能。社区力量和向量能力的结合，使得Elasticsearch能够支持多达2048维的向量查询维度，性能实现飞跃式提升。这些技术迭代和更新，有力地推动了向量搜索技术的进步。 在Serverless资源管理方面，Elasticsearch也提出了新的解决方案，尤其是在日志场景中的性价比问题上。Serverless模式让资源的分配和管理变得更加弹性化和自动化，这使得在处理日志等大规模数据时，能够根据实际需求动态调整资源，从而实现成本的显著优化和性能的提升。Elasticsearch通过引入冷热分离和计算存储分离架构，弹性伸缩，以及智能诊断和高级监控等技术，保障了服务的稳定性，并能有效应对业务高峰和低谷波动。 此外，阿里云Elasticsearch向量增强版还提供了与其他数据服务产品的灵活对接能力，比如PAI-EAS、DashScope、Hugging Face、LangChain和LlamaIndex等，从而构建出多场景解决方案。这样的集成不仅强化了数据摄取和向量数据构建的能力，还使得模型服务可以更加灵活地对接多种第三方模型，全面提升了搜索分析和自动提示的功能。 Elasticsearch在AI检索和Serverless模式成本优化方面的最新特性，为构建新一代搜索技术平台提供了坚实的基础。这不仅表现在搜索技术上从单一模态到多模态的转变，还体现在对于业务场景的深入理解和高效的资源管理上。通过社区力量和原厂向量版本的持续迭代，Elasticsearch不仅加强了向量搜索的能力，还为AI驱动的检索服务提供了新的可能性。