建设前先整理资料
确定资料负责人、有效版本和访问范围,处理重复、过期与相互冲突的文件。扫描件、表格和图片中的关键信息需要单独检查,不能默认上传后即可完整识别。
回答应该提供什么
回答应尽可能指向原始资料,便于员工核对。当材料没有答案时,应提示未找到依据或转交负责人,而不是补出看似合理的业务规则。
如何处理权限和更新
在方案中确认不同部门可访问的资料范围、离职账号处理和更新流程。测试不仅要看答对多少,还要检查无权限用户是否能检索到受限内容。
如何准备验收问题
收集员工真实问题,覆盖术语、同义表达、跨文档问题、过期内容和资料外问题。为每题记录参考答案与来源,后续更新资料或模型时复测同一组问题。
知识库试点建议覆盖的验收样例
| 问题类型 | 准备方式 | 预期行为 |
|---|---|---|
| 有明确答案 | 问题对应一份有效资料中的条款 | 回答正确,并指向匹配的资料来源 |
| 缺少依据 | 提出资料库不包含的问题 | 提示缺少依据,不编造规定 |
| 版本冲突 | 同一主题同时存在旧版和新版文件 | 按约定版本规则处理,必要时提示冲突 |
| 无权访问 | 用普通账号询问受限资料 | 不泄露受限内容、片段或附件 |
| 资料更新 | 修订原文件后重新提问 | 在约定更新周期后反映新内容 |
这是测试设计清单。准确率、更新周期与性能阈值需要双方结合资料和业务约定。
常见问题
上传文件后就能保证回答正确吗?
不能。文件识别、版本、检索和回答生成都可能影响结果,需要用真实业务问题与参考答案进行验证。
可以只在企业内部使用吗?
可将内部访问作为方案要求,再结合身份系统、网络和模型部署条件评估。内网界面不等于数据不会外发,需要核对模型和其他服务的数据路径。
资料更新后是否需要重新训练模型?
如果采用检索资料辅助回答的方式,通常重点是更新资料和检索索引,不必把每次文档更新都视为模型训练。具体流程取决于选定方案。