一文带你了解 RAG，并且送你一个福利

原创

brzhang

发布于 2024-05-01 23:14:34

2480

发布于 2024-05-01 23:14:34

文章被收录于专栏：玩转全栈玩转全栈

logo

首先我们了解一下RAG，全称为Retrieval-Augmented Generation，中文可以翻译为"检索增强生成"，也有人说是召回增强生成，反正你知道是一个意思就好。这是一种结合了检索和生成两种机器学习方法的新型框架，主要用于自然语言处理（NLP）任务，如问答系统、对话系统等。

为什么需要 RAG？

一言以蔽之：RAG的主要优点是，它可以在需要处理大量的文本数据时，提供更准确、更具有连贯性的响应。这对于许多NLP任务来说，都是非常重要的。下面请看具体的解释：

传统的生成模型，如GPT，通过学习大量的文本数据，生成与输入相关的响应，但是它们并不具备明确的"记忆"功能，无法精确地检索出特定的知识片段来回答特定的问题。而传统的检索模型，如BERT，可以从大量的文本数据中检索出相关的文本片段，但是它们并不具备生成新的、连贯的文本的能力。

所以，这里我给你一个表格对比一下传统的生成模型和检索模型的优劣势：

模型类型	优点	缺点
生成模型(如GPT)	可以生成新的、连贯的文本	无法精确地检索出特定的知识片段
检索模型(如BERT)	可以精确地检索出特定的知识片段	无法生成新的、连贯的文本

RAG框架的出现，是为了结合这两种模型的优点，提供更准确、更具有连贯性的响应。RAG框架的工作方式是，首先使用检索模型从大量的文本数据中检索出相关的文本片段，然后将这些文本片段作为上下文，输入到生成模型中，生成响应。这样，生成的响应既可以包含特定的知识片段，也可以具有连贯的语句结构。

例如，在问答系统中，用户可能会提出一些需要特定知识片段才能回答的问题，此时，如果只使用生成模型或检索模型，可能无法给出准确的回答。但是，如果使用RAG框架，就可以结合检索模型的精确检索能力和生成模型的连贯生成能力，给出更准确、更满意的答案。

利用RAGFlow，让你轻松实现 RAG

RAGFlow 是一个基于深度文档理解的开源 RAG（检索增强生成）引擎，开源没有几天，目前已经6K 的 star 了，一句话概括他的特点就是质量进，质量出。它为任何规模的企业提供了简化的 RAG 工作流程，结合了 LLM（大型语言模型）以提供真实的问答功能，并由来自各种复杂格式数据的有根据的引用提供支持。Docker 部署，方便快捷，傻瓜式操作，让你的数据处理更智能和可解释。下面是它的架构图：

项目主要特色：
- 基于深度文档理解的知识提取，能在数据量巨大的环境中找出关键信息。
- 提供了模板化的数据分块技术，使数据处理更智能和可解释。
- 提供引用可视化，降低误读可能性，方便人工干预数据提取和生成过程。
- 与各种数据源的兼容性强，支持 Word、幻灯片、excel、txt、图片、扫描文档、结构化数据、网页等格式的数据。
- 提供了流程自动化和方便的 RAG 工作流程，易于进行配置和调整，并支持多种排序模型，且 API 设计直观，便于与商业环境进行集成。

如果你希望在业务中实现从文档中自动提取知识，然后基于这些知识进行问题回答的使用场景，这个工具值得一试。

地址：https://github.com/infiniflow/ragflow，怕麻烦？想先体验一下？可以直接访问> https://demo.ragflow.io/knowledge。下面就是我体验的 demo，操作非常简单，内置了一些免费可用的embedding模型和对话模型。