3.06
最后修改知识库
-
使用单仓多包+上游跟踪模式开发，依赖源代码packages核心算法包，我只开发应用
-
知识库完成多用户，公共知识库可以共同访问到，私人知识库个人用户个人访问
-
新增用户管理功能，以及管理员可以给普通用户开通公共库的权限
-
普通用户沿用统一的admin用户的模型部署
服务器部署模型
- 尝试部署千问3.5 27B
- 奔溃，就没有在继续部署知识库
3.20
继续完善知识库
- 新增管理员配置方法，管理员可以推送配置到服务器
- 新增默认配置，默认语言模型、嵌入和重排
- 普通用户同步配置语言模型，新增知识库自动配置好嵌入和重排
- **最后整理知识库和上游源码之间的层级关系，等待部署
配合测试服务器
- 降低双卡功率聊天测试
- 下载了9B小模型，进行轮换单卡测试，发现只有一个能用
- 沟通同步
正式部署和了解agent框架
- 学习Agent框架以及实现流程 Agent框架.canvas
探索知识关系图谱
-
探索知识图谱架构设计 抽取层——图数据库层——可视化层
-
部署查看不同层的行业项目库
-
抽取层：OneKE / DeepKE / llm-graph-builder
-
图数据库层：Neo4j
-
可视化层：llm-graph-builder 自带 UI，或者 motif.gl
3.29
图谱布局
- 使用Sigma图渲染引擎搭建底盘
- Graphology图数据模块控制，实现连续松弛重排算法，实现节点拖拽局部排斥，边界回流，全局均匀化恢复
实体抽离
- 一个知识库存在多个文档，是去同时抽离多个文档的实体？一起都现在是面板上？
- 这多个文档可能两个不同项目的可研报告，抽离的实体几乎相近，那同样的实体名字展示出两份？比如可以同时存在 边坡稳定 这种词
- 这多个文档可能是一个项目的不同问题，A文档是环境报告一些公开的地质问题；B文档是工程地质问题；C文档是工程地质条件，那跨文档关联？
- 多个文档可能是同一个项目的不同阶段，也是相同的实体词，按理说也是相互关联的
表格、附图、正文混在一起时，不做拆分，可能落款差
- 同一个实体被写成多个节点
- 章节标题被错当实体
- 属性有时写成节点，有时写成字符串
- 关系名不统一，导致图里越来越散
- 没有证据字段，后面点开实体什么也看不到