大模型RAG实战：RAG原理、应用与系统构建

作者简介

8.4 本章小结

8.3.3 复杂问题推理处理

8.3.2 微调数据处理

8.3.1 微调数据构造

8.3 复杂问题处理

8.2 大模型指令微调

8.1.4 向量模型联合训练

8.1.3 向量模型训练

8.1.2 训练数据构造

8.1.1 模型选型

8.1 向量模型构建

第8章 RAG系统构建与微调实战

7.4 本章小结

7.3 基于Streamlit搭建一个ChatPDF可视化应用

7.2 基于LangChain实现RAG

7.1 LangChain基础模块

第7章 基于LangChain实现RAG应用

第三部分 实战

6.6 本章小结

6.5.2 批近似

6.5.1 异步更新索引

6.5 联合训练

6.4.2 冻结生成模块

6.4.1 冻结召回模块

6.4 序贯训练

6.3 独立训练

6.2 训练方法

6.1 RAG系统的训练难点

第6章 RAG系统训练

5.5 本章小结

5.4 多模态RAG系统

5.3 大模型主导的RAG系统

5.2 先进RAG系统

5.1.2 存在的问题

5.1.1 基础流程

5.1 基础RAG系统

第5章 RAG范式演变

4.7 本章小结

4.6.3 Self-RAG

4.6.2 FLARE

4.6.1 LLM微调

4.6 LLM能力优化

4.5.2 模型回答评估

4.5.1 召回环节评估

4.5 效果评估

4.4.7 结合元数据召回

4.4.6 多检索器融合

4.4.5 召回文本重排序

4.4.4 查询内容优化

4.4.3 文本多向量表示

4.4.2 召回内容上下文扩充

4.4.1 短文本全局信息增强

4.4 召回环节优化

4.3.5 Qdrant

4.3.4 Chroma

4.3.3 Weaviate

4.3.2 Milvus

4.3.1 Faiss

4.3 向量数据库

4.2.4 基于深度学习模型的文本切块

4.2.3 特殊格式文本切块

4.2.2 基于NLTK的文本切块

4.2.1 固定大小文本切块

4.2 文本切块

4.1.2 RAG场景下的提示词设计

4.1.1 提示词工程基础

4.1 提示词工程

第4章 RAG核心技术与优化方法

第二部分 原理

3.5 本章小结

3.4 重排序模型

3.3.3 BM25

3.3.2 TF-IDF

3.3.1 朴素词袋模型

3.3 稀疏向量检索模型

3.2.5 SGPT

3.2.4 WhiteBERT

3.2.3 CoSENT

3.2.2 SBERT

3.2.1 SimCSE

3.2 稠密向量检索模型

3.1 文本召回模型基础

第3章 文本召回模型

2.4 本章小结

2.3.2 LLaMA

2.3.1 GPT

2.3 自回归模型

2.2.2 BERT

2.2.1 ELMo

2.2 自动编码器

2.1.4 解码头

2.1.3 解码器

2.1.2 编码器

2.1.1 词嵌入

2.1 Transformer

第2章 语言模型基础

1.7 本章小结

1.6.2 相似度搜索的性能问题

1.6.1 LLM的伸缩法则与知识库大小的关系

1.6 RAG面临的挑战

1.5 RAG的使用场景

1.4.2 RAG的缺点

1.4.1 RAG的优点

1.4 RAG的优缺点

1.3.3 答案生成

1.3.2 数据召回

1.3.1 数据准备

1.3 RAG的工作流程

1.2.4 大模型的训练成本问题

1.2.3 大模型的数据泄露问题

1.2.2 大模型生成结果的不可解释性问题

1.2.1 大模型的知识更新问题

1.2 为什么需要RAG

1.1.3 RAG带来的范式改变

1.1.2 RAG与模型微调的对比

1.1.1 什么是RAG

1.1 大模型应用的方向：RAG

第1章 RAG与大模型应用

第一部分 基础

前言

内容简介

版权信息

封面

封面

版权信息

内容简介

前言

第一部分 基础

第1章 RAG与大模型应用

1.1 大模型应用的方向：RAG

1.1.1 什么是RAG

1.1.2 RAG与模型微调的对比

1.1.3 RAG带来的范式改变

1.2 为什么需要RAG

1.2.1 大模型的知识更新问题

1.2.2 大模型生成结果的不可解释性问题

1.2.3 大模型的数据泄露问题

1.2.4 大模型的训练成本问题

1.3 RAG的工作流程

1.3.1 数据准备

1.3.2 数据召回

1.3.3 答案生成

1.4 RAG的优缺点

1.4.1 RAG的优点

1.4.2 RAG的缺点

1.5 RAG的使用场景

1.6 RAG面临的挑战

1.6.1 LLM的伸缩法则与知识库大小的关系

1.6.2 相似度搜索的性能问题

1.7 本章小结

第2章 语言模型基础

2.1 Transformer

2.1.1 词嵌入

2.1.2 编码器

2.1.3 解码器

2.1.4 解码头

2.2 自动编码器

2.2.1 ELMo

2.2.2 BERT

2.3 自回归模型

2.3.1 GPT

2.3.2 LLaMA

2.4 本章小结

第3章 文本召回模型

3.1 文本召回模型基础

3.2 稠密向量检索模型

3.2.1 SimCSE

3.2.2 SBERT

3.2.3 CoSENT

3.2.4 WhiteBERT

3.2.5 SGPT

3.3 稀疏向量检索模型

3.3.1 朴素词袋模型

3.3.2 TF-IDF

3.3.3 BM25

3.4 重排序模型

3.5 本章小结

第二部分 原理

第4章 RAG核心技术与优化方法

4.1 提示词工程

4.1.1 提示词工程基础

4.1.2 RAG场景下的提示词设计

4.2 文本切块

4.2.1 固定大小文本切块

4.2.2 基于NLTK的文本切块

4.2.3 特殊格式文本切块

4.2.4 基于深度学习模型的文本切块

4.3 向量数据库

4.3.1 Faiss

4.3.2 Milvus

4.3.3 Weaviate

4.3.4 Chroma

4.3.5 Qdrant

4.4 召回环节优化

4.4.1 短文本全局信息增强

4.4.2 召回内容上下文扩充

4.4.3 文本多向量表示

4.4.4 查询内容优化

4.4.5 召回文本重排序

4.4.6 多检索器融合

4.4.7 结合元数据召回

4.5 效果评估

4.5.1 召回环节评估

4.5.2 模型回答评估

4.6 LLM能力优化

4.6.1 LLM微调

4.6.2 FLARE

4.6.3 Self-RAG

4.7 本章小结

第5章 RAG范式演变

5.1 基础RAG系统

5.1.1 基础流程

5.1.2 存在的问题

5.2 先进RAG系统

5.3 大模型主导的RAG系统

5.4 多模态RAG系统

5.5 本章小结

第6章 RAG系统训练

6.1 RAG系统的训练难点

6.2 训练方法

6.3 独立训练

6.4 序贯训练

6.4.1 冻结召回模块

6.4.2 冻结生成模块

6.5 联合训练

6.5.1 异步更新索引

6.5.2 批近似

6.6 本章小结

第三部分 实战

第7章 基于LangChain实现RAG应用

7.1 LangChain基础模块

7.2 基于LangChain实现RAG

7.3 基于Streamlit搭建一个ChatPDF可视化应用

7.4 本章小结

第8章 RAG系统构建与微调实战

8.1 向量模型构建

8.1.1 模型选型

8.1.2 训练数据构造

8.1.3 向量模型训练

8.1.4 向量模型联合训练

8.2 大模型指令微调

8.3 复杂问题处理

8.3.1 微调数据构造

8.3.2 微调数据处理

8.3.3 复杂问题推理处理

8.4 本章小结

作者简介