Skip to content

M_Milvus包含向量数据库基本操作以及对md和pdf文档的处理,使用glm_embedding计算分割后文档的向量值,在start.py中进行向量检索,查找出前k个相似值。文档分割出还有问题,全部文档内容获取以后,分割为300字为一段的内容进行向量计算,存入向量数据库中。

Notifications You must be signed in to change notification settings

Halukisan/milvus_test

Repository files navigation

如何开始

milvus_create目录下存放的是关键代码,ready.py和zhipuai_embedding.py这俩没有什么用,可以直接忽视,start.py为主要代码,embedding.py为测试代码,在实际运行中无关紧要,类似于用于学习的代码。 在进行向量查询之前,你需要向Milvus中导入数据(如果以及导入了,可以忽略,直接启动start.py),

导入数据

这部分代码在data_maker中,mdmake用于将md文档插入到milvus中

可能出现的问题

插入过程中报错

pymilvus.exceptions.ParamError: <ParamError: (code=1, message=invalid input, length of string exceeds max length. length: 499, max length: 256) 这表示数据长度超出了构建向量数据库时规定的长度,你需要重新构建向量数据库,打开csdn_milvus目录,进入create_milvus2.py中,修改对应行的最大长度要求,然后运行,然后运行create_index.py

About

M_Milvus包含向量数据库基本操作以及对md和pdf文档的处理,使用glm_embedding计算分割后文档的向量值,在start.py中进行向量检索,查找出前k个相似值。文档分割出还有问题,全部文档内容获取以后,分割为300字为一段的内容进行向量计算,存入向量数据库中。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages