导读
武汉，2024年3月30日 — 在这个春意盎然的季节，由腾讯云和Elastic社区联合主导的，Elastic Meetup武汉站活动成功在汤逊湖畔，腾讯武汉研发中心举办，标志着疫情后最大规模的Elastic Meetup的圆满结束。这次活动不仅是技术交流的盛宴，更是腾讯云ES在当前火热的AI、向量搜索领域深耕细作的一个缩影，也是腾讯云与Elastic社区紧密合作的生动体现。
活动概览
在这次技术Meetup上，我们迎来了超过两百位热情的技术爱好者报名参与，其中近百位现场参与者共同体验了一场关于Elastic技术的深度探讨。五位来自不同领域的资深专家带来了他们的见解和经验分享，让与会者获得了丰富的知识和启发。
首先，Elastic社区的首席布道师刘晓国为我们揭开了《Elasticsearch简单而高效的管道查询语言 - ES|QL》的神秘面纱，让大家对ES|QL的强大功能和简洁语法有了全新的认识。
接着，腾讯云ES的高级研发工程师刘忠奇深入讲解了《腾讯云ES结合AI场景的实践与探索》，展示了腾讯云ES和AI技术碰撞时，能擦出怎样的火花。
紧随其后的是Elastic的首席解决方案架构师李捷，他带来了《未来运维之道：Elastic AI助手的高效运维与数据智能》，分享了如何利用Elastic AI助手提升运维效率和数据处理智能。
小米的高级研发工程师周明裕则聚焦于《小米在Elasticsearch服务成本治理的实践》，分享了小米如何有效地管理和优化Elasticsearch服务的成本，为企业节省资源。
最后，绿盟科技的技术专家陆攀带来了《ES在绿盟企业安全平台的应用实践》，讲述了Elasticsearch在企业安全领域的应用案例，为与会者提供了宝贵的行业洞察。
整个活动井然有序，每一场演讲都是对知识的一次深度挖掘，与会者在热烈的交流中获得了不仅是技术的更新，更有对未来趋势的洞见。
腾讯云ES和AI的技术碰撞
腾讯云作为本次活动的承办和主导方，不仅提供了宽敞且舒适的会议场地，还将腾讯云ES在AI场景、向量搜索上的领先优势在本次Meetup中进行了充分的展示。在腾讯工程师刘忠奇的精彩演讲中，我们深入了解了腾讯云ES如何与AI技术相结合，探索和实践新的可能性。他分享了腾讯云ES结合AI场景的多个先进实践案例，对RAG、混合搜索等AI场景的技术，如何在腾讯云ES落地实践进行了深入的解读。他还详细介绍了腾讯云ES的8.11.3版本在AI能力方面的优势，以及在AI运维诊断专家系统（AIOps、LLMOps）方面的最新进展。这些技术的应用不仅凸显了腾讯云在技术革新方面的深厚底蕴，也为与会者呈现了一场关于未来技术发展趋势的思考与启迪。
技术焦点：
腾讯云ES的AI和向量搜索能力
一、腾讯云ES结合AI实现混合搜索实战演练
开箱即用的向量搜索体验
腾讯云ES提供了从模型上传、向量生成、向量存储、向量检索的一站式解决方案，将传统的基于关键词的文本检索，扩展到基于图索引的多模态搜索，帮助高效构建搜索系统、问答系统、推荐系统、内容审核等应用场景。
具体而言，腾讯云ES的向量搜索能力继承了用户熟悉的数据写入方式，通过Elasticsearch新推出的推理管道功能——Inference Pipeline，一个新型的Ingest Pipeline，保持了数据处理的连贯性。当数据写入时指定Inference Pipeline，JSON格式的数据会在索引前自动通过指定的机器学习模型推理出向量表示，从而在原始数据上扩展出向量字段，无缝整合传统搜索与AI的强大功能。
同时，腾讯云ES支持开箱即用的ELSER模型，以及快速上传部署自定义模型或Hugging Face上的模型，使得用户可以轻松导入和管理机器学习模型，享受一站式向量搜索服务。
一站式RAG解决方案
值得一提的是，腾讯云ES提供的一站式RAG解决方案，提供了RAG应用范围内的所有功能，超越了传统向量数据库所提供的单点解决方案范围，例如，支持通过文本+向量的混合搜索能力，灵活应对各种需求；在打分上，ES支持通过设置文本、向量的权重，甚至字段级别的词权重，进行打分排序，或者是直接使用内置的RRF能力，直接实现混合打分、排序，后续也支持通过引入LTR模型，对粗排结果进行重排，满足不同业务场景的需求，同时，也支持直接上传自定义embedding模型，或者hugging face上的embedding模型，在ES内部完成模型管理、部署、数据向量化等。
向量搜索实战演练
在我们的向量搜索快速实战演练文章中，展示了如何在短短10分钟内体验腾讯云ES的向量搜索功能。搜索请求的语法简洁，只需指定向量字段和文本向量化的机器学习模型。搜索响应揭示了向量搜索与全文搜索的根本区别：向量搜索基于空间距离相似度评分，而全文搜索则依赖于TF/IDF、BM25等基于词频的算法。
腾讯云ES向量搜索实战演练文章：
《「最佳实践」腾讯云 Elasticsearch 8：预训练模型与一站式向量化语义检索的完美结合》
《腾讯云ES AI增强搜索：十分钟快速入门自然语言处理（NLP）与向量检索》
混合搜索实战演练
尽管向量搜索可以实现语义上的查询，但它并非完美无缺。例如，在处理特定字符串如“8XLARGE64”时，向量搜索召回的帮助文档实际是不相关的，所以大语言模型无法根据召回的知识信息进行推理、回答。而这类查询在文本搜索中可以轻而易举的召回，这时，结合向量搜索和文本搜索的优势，混合搜索便显得尤为重要。混合搜索是，将同样的检索内容，分别使用向量搜索和文本搜索的方式进行查询，再对这两路召回结果进行合并，这样一种提升召回率的搜索方式。腾讯云ES 8.11.3版本支持一站式混合搜索，能够在单次查询中同时执行文本和向量搜索，并自动对多路召回的结果进行排序融合。
混合搜索的RAG最佳实践案例
RAG的全称是Retrieval Augmented Generation，顾名思义，通过检索的方法来增强生成模型的能力。腾讯云ES在RAG的混合搜索技术方向，已经走在前列。我们的系列文章，深入浅出地展现了这项技术的便捷性和准确性。
腾讯云ES RAG系列文章：
《Elasticsearch案例：百行代码实现腾讯ES帮助文档的RAG》
《Elasticsearch RAG案例：混合搜索的相关性调优》
在面向客户的实战案例中，腾讯云ES 8.11.3的推出极大地简化了客户原有的混合搜索架构。通过在ES的DSL中直接使用RRF（Reciprocal Rank Fusion）算法，实现了一站式的多路召回，并对结果排序融合，这不仅大幅简化了架构，同时也实现了成本的显著降低。利用ES作为搜索引擎，我们可以通过最简化的架构实现混合搜索，然后采用Prompt工程将问题与混合搜索召回的答案结合起来，交由大型模型进行推理与总结，最终提供精确的解答。ES结合了向量搜索的混合搜索，展现了在AI时代搜索技术的真正价值和竞争力。
在另一个面向客户的实战案例中，腾讯云ES在混合搜索方面的应用面临着更高的召回率、成本和性能要求。
在RAG的基础流程上，我们引入了两个关键的优化步骤。首先，在数据写入之前，利用大型模型对原始文档的超长文本进行总结和精炼，然后将这些数据输入ES的推理管道，生成用于混合搜索的索引。这种方法不仅保持了合理的索引大小，控制了成本，还提升了召回质量。在执行RAG时，我们采用了前沿的RAG-Fusion理念，通过问题扩充形成更多路的查询，并利用RRF原理进一步提升召回率。
在性能调优方面，我们的技术实践也是全面而深入的。通过应用《十亿级高性能向量检索最佳实践》中提到的性能调优策略，我们为客户提升了性能，确保了系统的稳定性，满足了客户To C场景下对高性能混合搜索的严格要求。
此外，腾讯云ES的独有能力在全文搜索和混合搜索方面都得到了充分的展示。例如，通过上传自定义词典来优化召回率，支持QQ分词器等功能，为用户提供了更加精准和高效的搜索体验。这些能力的整合，不仅体现了腾讯云ES在技术深度上的积累，也展示了其在提供高价值搜索解决方案方面的实力。
二、AI诊断专家的探索与实践
在AIOps、LLMOps这些前沿领域，腾讯云ES提出并实践了“AI诊断专家”这一概念。通过专门的代码能力训练，大模型已经具备了对开源项目源码的深层理解，这使得它能够进行专家级别的分析。我们向GPT-4提出了是否能够成为Elasticsearch诊断专家的问题，而大模型不仅给出了肯定的答复，还展示了通过类名和方法名关联代码知识库，分析源码上下文，理解代码功能及潜在问题的能力。
利用当前领先的大语言模型框架LangChain，并借鉴ReAct型Agent智能体的典型流程，腾讯云ES成功实现了AI诊断专家的原型。在我们的demo中，AI诊断专家通过发起REST请求，自动分析ES集群状态变为yellow的根本原因，并将其推理过程逐步展现。
每一轮的思考都是AI诊断专家对当前问题的精准总结，通过概念拆解、反思和推理，逐步构建出工具执行计划。在两次REST请求后，AI在第三轮思考中成功诊断出问题的根因，并结束了分析。基于前面提到的Agent智能体的流程，这些思考过程可以作为短时记忆，为AI提供了进一步总结和精简结论的基础。通过打印完整的思考过程，我们验证了AI的推理是否准确。在这个简化的场景中，AI未被提供任何额外信息，但通过层层逻辑推理，精确地调用工具并获取关键信息，完成了问题分析。
在难度更高的下一个demo中，我们挑战AI诊断集群CPU异常的原因。人类专家通常会借助火焰图工具分析堆栈，找出占用CPU的热点函数。我们也为AI诊断专家引入了火焰图分析工具，以观察其是否能有效使用此工具。
AI诊断专家在第一轮思考中使用REST请求工具获取了当前的任务列表，并从中发现了可能导致高耗时的wildcard查询任务。在第二轮中，AI调用火焰图工具，确认了org/apache/lucene/search/WildcardQuery.函数占用了96%的高CPU比例，这进一步支持了其初步推测。在第三轮中，AI进行了总结性思考，认为已找到CPU飙升的根本原因，并结束了分析。
在这个复杂场景中，AI通过扩展可用工具集，依然能够通过层层推理，准确调用工具并获取关键信息，完成问题分析。这表明，只要提供足够的工具集，AI诊断专家就有能力自动完成复杂的ES集群运维根因分析。
通过这两个demo的验证，我们可以得出结论：工具集越丰富，AI诊断专家的分析能力就越强，能处理的场景就越全面。将优秀的根因分析案例作为知识库输入到ES中，形成RAG的知识库，可以进一步指导AI进行更为精准的分析诊断。随着运维的集群数量增加，AI诊断专家的价值愈发凸显。例如，在腾讯云ES上运行的数以万计的集群，AI的应用可以大幅节省运维人力资源。随着知识库的不断更新和训练，大语言模型的推理能力也将得到进一步增强。
除了ES，其他开源复杂系统也可以采用这一方案，成功的经验可以迅速复制和推广。这意味着AI诊断专家不仅能够在特定的领域内，如同一位真正的技术专家一样，不断提升自身的技术能力，而且还能在业务层面为腾讯云ES提供支持，协助甚至在某些方面“取代”人类专家。
腾讯云ES将继续加大在AI领域的投入，推动这些技术的实际应用，以便真正服务于我们的客户。通过这种方式，AI诊断专家的未来展望将不仅限于技术层面的提升，更将在商业价值和服务质量上实现质的飞跃。
总结而言，腾讯云ES的AI诊断专家展现了AI与运维领域结合的巨大潜力。通过不断学习和适应，AI不仅能够理解复杂的技术问题，还能够自动化地提供解决方案，这在提高效率、降低成本和推动技术创新方面具有重要意义。随着技术的进步和应用的深化，我们有理由相信，AI将在未来的IT运维领域扮演越来越重要的角色。
三、腾讯云ES 8.11.3版本AI能力解读
腾讯云ES 8.11.3版本在向量搜索领域迈出了重要一步，支持的向量维度大幅提升至4096维，这一跃升不仅拓宽了向量搜索的应用场景，也为高维数据提供了更为丰富的表征空间。同时，8.11.3版本新增的nested mapping支持，为RAG知识库场景下做chunk文本分块提供了强有力的技术支撑。
通过融合腾讯自研的KonaJDK 21，腾讯云ES得以利用SIMD数据并行技术，实现向量计算性能的显著提升，高达30%的性能增幅，为用户的搜索和分析任务带来了更为流畅和高效的体验。
腾讯云ES 8.11.3版本还首次支持了Elastic AI Assistant功能的体验，这一创新功能将AI辅助能力带入搜索分析和运维过程，进一步提升了智能化水平，为用户带来前所未有的便捷。
此外，腾讯云ES的功能整合能力得到了进一步加强，支持ES内置的ELSER模型的开箱即用，同时也支持HuggingFace和本地模型的上传，为用户提供了更为灵活和强大的模型应用能力。
腾讯云ES的专用机器学习节点，为用户提供了一站式的向量生成和检索服务。这一设计不仅有效提升了向量推理能力，还确保了数据节点的隔离，保障了在线检索业务的稳定性。
腾讯云ES在AI和向量搜索领域的发展步伐紧跟社区的最新动态。自2023年7月份发布了腾讯云ES 8.8.1版本，到2024年1月份上线的8.11.3版本，腾讯云ES不断引入最新能力。在接下来的版本中，我们可以期待如Learn-to-rank的支持、外部模型API的推理能力，以及FMA融合乘加、密集向量类型int8量化、段间信息共享等技术，这些都极大地提升了向量搜索的功能和性能。
总结来说，在AI和向量搜索领域的热潮中，腾讯云ES不仅走在了行业前列，更承诺将持续提升ES在AI场景中的应用体验。无论是在技术深度还是技术价值上，腾讯云ES都是您在AI、向量搜索场景的不二选择！
结语
本次Elastic Meetup武汉站的成功举办，得益于腾讯云与Elastic社区的紧密合作。腾讯云不仅提供了优越的会议场地，更在活动筹备和宣传上投入了大量资源。腾讯云的积极参与，不仅体现了其对技术社区的支持，也展现了其作为技术领导者的责任感和使命感。
随着活动的圆满结束，我们对参与者的热情和对技术的追求表示由衷的感谢，也不禁期待未来腾讯云与Elastic社区能够带来更多这样的交流机会。通过这些活动，不仅能够促进技术的交流与合作，更能推动整个行业的创新和发展，为参与者提供了一个宝贵的学习和交流平台。让我们共同期待，腾讯云与Elastic社区将如何继续携手，为我们带来更多技术的惊喜。
如需了解更多关于腾讯云ES的信息，请访问我们的官方网站：腾讯云ES官网
我们期待与您的相遇，共同探索AI时代搜索技术的无限可能。
邀您探索数据的无限可能
