实现原理#

分片 → 索引 → 召回 → 重排 → 生成

提问前链路

分片 → 索引

提问后链路

召回 → 重排 → 生成

分片#

把文档切割成多个片段，可以使用多种切分方式，如按页码、段落

索引#

1. 通过Embedding将片段文本转换为向量
2. 将片段文本和片段向量存入向量数据库中

向量#

 

Embedding#

https://huggingface.co/spaces/mteb/

 

向量数据库#

用于存储和查询向量的数据库

 

召回#

搜索与用户问题相关的片段

计算向量相似度

• 余弦相似度
• 欧氏距离
• 点积
• …

重排#

根据召回结果进行重拍，得到重排结果

生成过程#

整体流程#

准备部分（提问前）

回答部分（提问后）