RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产物简直统统建树在 RAG 之上，遮蔽了连合汇聚搜索引擎和 LLM 的问答管事，到车载斗量个数据聊天的应用范例。好多东说念主将RAG和Agent 手脚大模子应用的两种主流架构，但什么是RAG呢？RAG又波及了哪些具体的期间呢？
1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的谜底。RAG 基本上是 Search + LLM 辅导，不错通过大模子申诉查询，并将搜索算法所找到的信息手脚大模子的高下文。查询和检索到的高下文王人会被注入到发送到 LLM 的辅导语中。
镶嵌式搜索引擎不错通过 Faiss 来达成，向量搜索界限成为了RAG的一个助力。像pinecone 这么的向量数据库不错构建开源搜索索引，为输入文本加多了相当的存储空间，还加多了一些其他用具。对于向量数据库，不错参考解读向量数据库。
面向RAG的开拓框架，对于基于 LLM 的活水线和应用范例，有两个最盛名的开源用具—— LangChain 和 LlamaIndex，辨认是在2022年10月和11月创建的，跟着 ChatGPT 爆发，也在2023年赢得了大量选拔。LlamaIndex 和 LangChain 王人是令东说念主咋舌的开源形状，它们的发展速率相配快。
图片
2. 基础的 RAG 期间RAG 系统的起初一般是一个文本文档的语料库，粗浅看起来是这么的: 把文分内割成块，然后把这些分块镶嵌到向量与transformer编码器模子，把通盘这些向量建树索引，临了创建一个 LLM 辅导语，告诉模子申诉用户的查询，给出在搜索形势中找到的高下文。在运行时，咱们用交流的编码器模子完成用户查询的向量化，然后扩充这个查询向量的索引搜索，找到top-k 的适度，从数据库中检索到相应的文本块，并提供给 LLM 辅导语Prompt手脚高下文。
图片
在OpenAI 平台上，辅导词Prompt不错是这么的:
def question_answering(context, query): prompt = f""" my query text... """ response = get_completion(instruction, prompt, model="gpt-3.5-turbo") answer = response.choices[0].message["content"] return answer
对于辅导词和辅导词工程的更多先容不错参考OpenAI 的辅导词工程手册以及解读辅导工程（Prompt Engineering）。
彰着，尽管 OpenAI 在LLM 阛阓上处于当先地位，但如故有好多替代决策，比如 Anthroic 的 Claude，还有最近流行的更小但功能强劲的模子，比如 Mistral，微软的 Phi-2 以及许多开源选项，比如 Llama2，OpenLLaMA，Falcon等王人不错用来开拓面向RAG的大模子产物。
3. RAG中的高等期间尽管并不是通盘RAG系统中的高等期间王人不错疏漏地在一张图中可视化，但给出一个描绘中枢形势和算法的决策如故特意旨的。
图片
3.1. 分块和矢量化起原，要创建一个向量索引暗示咱们的文档内容，然后在运行时搜索通盘这些向量和查询向量之间最小距离对应的最接近语义。
由于transformer模子有固定的输入序列长度，即使输入高下文的窗口很大，一个或几个句子的向量也比一个在几页文本上取平均值的向量更能代表它们的语义意旨 ，是以数据分块是一个特意旨的期间。把入手文档分红一定大小的块，同期又不失去它们的意旨，也即是把文分内红句子或段落，而不是把一个句子分红两部分。而且，依然有了各式梗概扩充此任务的文分内割器达成。举例，在 LlamaIndex 中，NodeParser 就提供了一些高等选项，如界说我方的文分内割器、元数据、节点/块关系等。
数据块的大小是一个需要计议的参数，它取决于使用的镶嵌模子独特token容量，法度的transformer编码模子，如BERT 的句子调度器，最多只可使用512个token，OpenAI ada-002梗概处理更长的序列，如8191个token，但这里的折衷是富余的高下文，让 LLM 梗概推理以及特定的富余文本镶嵌，以便灵验地扩充搜索。
下一步是取舍一个模子来出产所选块的镶嵌，雷同有好多门径，举例搜索优化的模子（ bge-large 或者E5 系列），MTEB 排名榜不错得到最新的一些门径信息。对于文档分块和向量化形势的端到端达成，不错具体地参考https://docs.llamaindex.ai/en/latest/moduleguides/loading/ingestionpipeline/root.html#。
2. 搜索的索引面向RAG的大模子应用的要害部分是用于搜索的索引，它存储前边得到的向量化内容。诚然，查询老是起原向量化，对于 top k 分块亦然一样的。最粗浅的达成使用一个平铺的索引，在查询向量和通盘块向量之间进行距离谋划并遍历。
一个适当的搜索索引，为了在一万多个元素的圭臬上灵验地检索而优化，需要一个向量索引， faiss，nmslib 或 annoy等使用一些近似最隔壁方式达成，如聚类，树或 HNSW 算法。还有一些受经管的治理决策，比如 ElasticSearch以及向量数据库，它们庄重处理数据接收的活水线。
凭据索引的取舍，数据和搜索需求还不错将元数据与向量通盘存储，然后使用元数据过滤器在某些日历或数据源中搜索信息。LlamaIndex 援手许多向量存储索引，也援手其他更粗浅的索引达成，如列表索引、树索引和要害字表索引。
如若有许多文档，就需要梗概灵验地在其中进行搜索，找到关联信息，并将其团聚在一个带有源援用的谜底中。对于大型数据库，一个灵验的门径是创建两个索引，一个由摘记构成，另一个由文档块构成，然后分两个形势进行搜索，起原通过摘记过滤掉关联文档，然后再通过关联组进行搜索。
图片
另一种门径是条款 LLM 为每个块生成一个问题，并将这些问题镶嵌到向量中，在运行时对这个问题的向量索引扩充查询搜索(在索引顶用问题向量替换块向量) ，然后路由到原始文本块并将它们手脚 LLM 赢得谜底的高下文发送。这种门径提高了搜索质料，因为与实质块比较，查询和假定问题之间具有更高的语义相似性。还有一种被称为 HyDE 的反向逻辑门径, 条款一个 LLM 生成一个假定的给定查询的反映，然后使用它的向量和查询向量来提高搜索质料。
为了赢得更好的搜索质料而检索更小的块，就要为 LLM 添加周围的高下文。有两种取舍，一个是句子窗口检索，即在检索到的较小块周围按句子伸开高下文，另一个是父文档检索，即递归地将文档分割成若干较大的父块，其中包含较小的子块。
在句子窗口检索决策中，文档中的每个句子王人是单独镶嵌，这为高下文余弦距离搜索提供了很高的准确性。在获取最关联的单个句子之后，为了更好地推理找到的高下文，在检索到的句子之前和之后将高下文窗口扩张为k个句子，然后将这个扩张的高下文发送给 LLM。
父文档检索与句子窗口检索相配相似，王人是搜索更细粒度的信息，然后在将高下文提供给 LLM 进行推理之前扩张过的高下文窗口。文档被拆分红援用较大父块中的较小子块。具体而言，文档被分割成块的脉络结构，然后最小的叶子块被发送到索引。在检索期间，获取较小的块，然后如若在top-k 检索的块中有当先 n 个块流畅到合并个父节点(较大的块) ，就用这个父节点替换提供给 LLM 的高下文。需要安稳的是，搜索仅在子节点索引中扩充。
还有一个相对较老的念念路，不错像 tf-idf 或BM25这么的稀零检索算法那样从当代语义或向量搜索中获取最好适度，并将其连合在一个检索适度中。这里唯独的手段是将检索到的适度与不同的相似度得分妥贴地连合起来，这个问题经常借助于Reciprocal Rank 交融算法（RRF）来治理，对检索到的适度重新排序以得到最终的输出。
图片
在 LangChain中，这是在集成检索器类中达成的，举例，一个 Faiss 矢量索引和一个基于 BM25的检索器，并使用 RRF 进行重新排序。在 LlamaIndex 中，亦然以一种相配类似的方式完成的。
搀杂或交融搜索经常在计议查询和存储文档之间有语义相似性和要害字匹配的情况下，将两种互补的搜索算法连合起来，提供更好的检索适度。
app3.3. Rerank和过滤在得到了检索适度后，需要通过过滤来重新排序。LlamaIndex 提供了多种可用的后处理范例，凭据相似度评分、要害词、元数据过滤掉适度，或者用其他模子对适度进行重新排序，物联网软件开发多少钱比如基于句子transformer的交叉编码器、 凭据元数据(比如日历最近性)内聚重新排序等等。这是将检索到的高下文提供给 LLM 以赢得适度谜底之前的临了一步。
3.4. query变换查询调度是一系列使用 LLM 手脚推理引擎来修改用户输入以提高检索质料的期间，有好多不同的期间取舍。
如若查询很复杂，LLM 不错将其领会为几个子查询。举例，如若问“ 在Github上Langchain 或 LlamaIndex 上哪个有更多颗星?”，不太可能在语料库中找到径直的对比，将这个问题领会为两个子查询是特意旨的，前提是要有更粗浅和更具体的信息检索，举例 “ Langchain 在 Github 上有些许颗星?”“Llamaindex 在 Github 上有些许颗星?”它们将并行扩充，然后将检索到的高下文组合在一个辅导语中，以便 LLM 合成对入手查询的最终谜底。在 Langchain 手脚多查询检索器，在 Llamaindex 手脚子问题查询引擎。
图片
后退辅导（Step-back prompting）使用 LLM 生成一个更一般的查询，为此检索赢得一个更一般或更高等别的高下文，以便将原始查询的谜底建树在这个高下文上。此外，还将扩充对原始查询的检索，并在临了的疏漏生成形势中将两个高下文提供给 LLM。LangChain 有一个参考达成https://github.com/langchain-ai/langchain/blob/master/cookbook/stepback-qa.ipynb。query重写使用 LLM 重新制定入手查询，以提高检索效果。LangChain 和 LlamaIndex 王人有达成，但 LlamaIndex 参考达成更强劲https://llamahub.ai/l/llamapacks-fusionretriever-query_rewrite。
如若使用多个来源来生成一个谜底，要么是由于入手查询的复杂性，需要必须扩充多个子查询，然后将检索到的高下文合并到一个谜底中，要么是在多个文档中发现了单个查询的关联高下文，梗概准确地反向援用。不错将这个援用任务插入到辅导语中，并条款 LLM 提供所使用源的 id，然后将生成的反映部分与索引中的原始文本块匹配，Llamaindex 为这种情况提供了一种灵验的基于暗昧匹配的治理决策。
3.5. 聊天引擎构建一个不错在单个查询中屡次运行RAG系统的一个热切特质是聊天逻辑，计议到对话高下文，就像在 LLM 时期之前的经典聊天机器东说念主一样。这是援手后续问题，访佛指代，或猖狂用户号召关联的曩昔对话高下文所必需的。查询压缩期间不错同期计议聊天高下文和用户查询。有几种门径不错达成高下文压缩，一种流行且相对粗浅的 ContextChatEngine，起原检索与用户查询关联的高下文，然后将其连同聊天历史从存缓发送给 LLM，让 LLM 在生成下一个谜底时梗概相识到前一个高下文。
图片
更复杂的达成是 CondensePlusContextMode，在每次交互中，聊天历史纪录和临了一条音尘被压缩成一个新的查询，然后这个查询参预索引，检索到的高下文被传递给 LLM连同原始用户音尘来生成一个谜底。
3.6. query 路由Query路由是由 LLM 驱动的决策形势，在给定用户查询的情况下，决定接下来作念什么。这些选项经常是回想、针对某些数据索引扩充搜索或尝试多种不同的路由，然后在一个谜底中详尽它们的输出。
Query路由还不错用于取舍索引，或者更无为的数据存储，将用户查询发送到那儿，举例，经典的向量存储和图形数据库或关总计据库。对于多文档存储来说，一个相配经典的情况是一个摘记索引和另一个文档块向量索引。
界说Query路由包括建树它不错作念出的取舍。路由取舍是通过一个 LLM 调用来扩充的，它以预界说的形势复返适度，用于将查询路由到给定的索引。如若选拔了代理的方式，则将查询路由到子链甚而其他代理，如底下的多文档代理决策所示。LlamaIndex 和 LangChain 王人援手Query路由。
3.7. RAG中的智能体Agent智能体Agent简直自第一个 LLM API 发布以来就一直存在，其方针是为一个梗概推理的 LLM 提供一套用具以及需要完成的任务。这些用具可能包括一些笃信性函数，比如任何代码函数或外部 API，甚而包括其他代理，这种 LLM 流畅念念想即是 LangChain 来源。
代理自身即是一个繁多的话题，OpenAI 助手基本上依然达成了好多围绕 LLM 所需的用具，也许最热切的是函数调用 API。后者提供了将当然谈话调度为对外部用具或数据库查询的 API 调用的功能。在 LlamaIndex 中，有一个 OpenAIAgent 类将这种高等逻辑与 ChatEngine 和 QueryEngine 连合在通盘，提供基于知识和高下文感知的聊天功能，以及一次性调用多个 OpenAI 函数的材干，这确乎带来了智能代理的使用方式。
图片
以多文档代理为例，在每个文档上会入手化一个代理(OpenAIAgent) ，梗概进行文档摘记和经典的 QA 机制，以及一个顶级总代理，庄重将查询路由到文档代理和最终谜底合成。每个文档代理王人有两个用具ーー向量存储索引和摘记索引，并凭据路由查询决定使用哪个用具。该体捆绑构由每个关联代理作念出大量的路由决策。这种门径的公正是梗概比较不同的治理决策或实体，这些治理决策或实体在不同的文档独特摘记以及经典的单一文档摘记和QA 机制中进行了描绘，这基本上涵盖了最常见的与文档集聊天的使用场景。
该决策由于在里面使用 LLM 进行了屡次往来迭代，因此速率有点慢。为了防万一，LLM 调用通过 RAG 活水线中最长的搜索操作来优化速率。因此，对于大型多文档存储，不错对该决策进行一些简化，使其具有可伸缩性。
3.8. 反映合成反映合成是任何 RAG 活水线的临了一步，凭据检索的通盘高下文和入手用户查询生成一个谜底。最粗浅的门径是将通盘获取的高下文(高于某个关联性阈值)与查询通盘团结并提供给 LLM。可是，还有其他更复杂的选项波及多个 LLM 调用，以细化检索到的高下文并生成更好的谜底。反映合成的主要门径有：
通过逐块向LLM发送检索到的高下文来迭代地细化谜底；
回想检索到的高下文以得当辅导；
凭据不同的高下文块生成多个谜底，然后将其团结或回想。
关联反映合成的更多信息，不错参考文档中的示例https://docs.llamaindex.ai/en/stable/moduleguides/querying/responsesynthesizers/root.html。
4. 面向RAG的编码器和大模子微调对 RAG 活水线中波及的深度学习模子进行一些微调，一个是庄重镶嵌质料从而提高高下文检索质料的 Transformer Encoder，另一个庄重诳骗提供的高下文来申诉用户查询的 LLM。不错使用 GPT-4这么的高端 LLM 来生成高质料的合成数据集。可是应该恒久安稳到，选拔一个大型数据集进行进修的开源模子，并使用微型合成数据集进行快速调优，可能会松开模子的总体材干。
较新版块的transformer编码器优化搜索是至极灵验的，bge-large-en-v1.5即便在条记本电脑环境中仍梗概有较大的检索质料进步。
4.1编码器微调一个很好的老取舍是有一个交叉编码器。如若不统统信任基本编码器，交叉编码器不错对检索到的适度重新排序。它的使命旨趣是把查询和每个最高k个检索到的文本块传递给交叉编码器，用一个美艳分隔，然后对它进行微调，关联的块输出为1，不关联的块输出为0。这种解救流程不错参考https://docs.llamaindex.ai/en/latest/examples/finetuning/crossencoderfinetuning/crossencoderfinetuning.html#。
4.2 大模子微调最近 OpenAI 入手提供 LLM 微调 API，LlamaIndex 有一个对于在 RAG 建树中微调 GPT-3.5-turbo 以“提真金不怕火”一些 GPT-4知识的教程。基本念念路是获取一个文档，使用 GPT-3.5-turbo 生成一系列问题，然后使用 GPT-4凭据文档内容生成这些问题的谜底即构建一个基于 GPT4的 RAG 活水线 ，然后在问答对的数据集上对 GPT-3.5-turbo 进行微调。通过对 RAG 活水线的评估，不错初步笃信经过微调的 GPT 3.5-turbo 模子比原始模子梗概更好地诳骗所提供的高下文来生成其谜底。
1. 横滨水手最早成立于1972年，球队与鹿岛鹿角是仅有的两支一直在顶级联赛踢球的队伍。俱乐部历史上获得过4次联赛冠军、2次天皇杯冠军、1次联赛杯冠军等荣誉。
1. 川崎前锋最早成立于1955年，球队前身为富士通足球俱乐部，是日本足球联盟元老俱乐部之一。由于部分原因俱乐部在上世纪遭到降级，直到2000年才重返顶级联赛。在2017年之后，队伍的整体表现日渐强大，先后在2017、2018、2020以及2021年获得联赛冠军。随后还夺得了日本天皇杯冠军、日本联赛杯冠军、以及日本超级杯。
在论文 RA-DIT: Meta AI Research 的检索增强双指示优化中，有一种更为复杂的门径，提议了一种在查询、高下文和谜底这个三元组上同期优化 LLM 和检索器(原论文中的双重编码器)的期间。这种期间被用于通过微调 API 和 Llama2开源模子来微调 OpenAI LLM (在原论文中) ，导致知识密集型任务狡计加多约5% (与使用 RAG 的 Llama265B 比较) ，而且知识推理任务加多了几个百分点。关联实施细节，不错参考https://docs.llamaindex.ai/en/stable/examples/finetuning/knowledge/finetuneretrievalaug.html#fine-tuning-with-retrieval-augmentation。
5. 面向RAG的性能评估有几个框架王人不错应用于RAG 系统的性能评估，狡计包括总体谜底关联性、谜底溯源性、真确度和检索到的高下文关联性等等。
Ragas框架,使用真确度和谜底关联性手脚 RAG 检索部分生成谜底的质料狡计和经典的高下文准召率。评估框架 Truelens 建议选拔检索与查询的高下文关联性、谜底溯源性以及与查询的谜底关联性，将这三个狡计手脚 RAG 系统的性能评估三元组。其中，要害且最可控的狡计是检索到的高下文关联性，其次是谜底关联性和溯源性。
LangChain 有一个相配先进的评估框架 LangSmith，不错达成自界说的评估器，还不错追踪 RAG 活水线的运业绩态，以使系统愈加透明。而在LlamaIndex 中有一个rag_evaluator的包，提供了一个便捷用具使用大众数据集来评估RAG系统。
6. 小结RAG 系统的主要挑战除了谜底的关联性和真确度除外，还有即是速率。关联词，还有好多其他事情需要计议，比如基于汇聚搜索的 RAG，与Agent架构的深度交融，以及对于 LLM 耐久顾忌的一些方式门径。即便如斯，RAG 仍然有着无为的应用界限，咱们在使用RAG落地应用的时刻， 但愿本文中提到的这些期间梗概对大家有所匡助。
图片
ps：新春佳节将至物联网软件开发多少钱， 东说念主民邮电出书社有促销的行为， 在当当网上《一书读懂物联网》不及40元半价销售，https://product.dangdang.com/29661591.html， 对物联网独特关联架构感敬爱的一又友应该是超值的契机，顺祝一又友们新春风物，有所得，有所成！
本站仅提供存储管事，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。