在私域知识库落地中,许多企业直接采用“每 500 字强制切一块”的简单粗暴策略,结果往往将一个完整的技术参数表格或跨段落的因果关系硬生生切成两半,导致大模型检索出来的信息残缺不全、胡乱拼凑。纳海川智能体团队从数据源头对切片算法进行了彻底重构。
一、固定分块(Fixed-size Chunking)的核心缺陷
传统切片无法识别文章的章节层级关系,切片后父级标题信息丢失,导致模型检索到内容却不知道这段文字属于哪一部法律、哪一项产品的规格。
二、语义感知与层级父子分块(Hierarchical Chunking)
纳海川团队推行“层级上下文保留分块”新范式:
-- 层级元数据注入示例
[文档]: 纳海川进销存操作规范手册.pdf
[章节路径]: 第三章 仓储盘点 > 3.2 动态盘点算法 > 冲突消解
[切片正文]: 盘点期间出入库流水采用增量事务日志对冲,对冲公式为...
每个切片头部强制挂载面包屑导航路径,确保即便检索出孤立段落,大模型依然能清晰感知其归属语境。
三、复杂表格的 Markdown 结构重建
针对 PDF 内的跨页复杂表格,先通过 OCR 与版面分析算法还原为标准 Markdown 表格,并为每一行数据注入表头属性,彻底消除跨行阅读歧义。
实证指标:在政企行业 50,000 页规章制度对比评测中,采用层级语义分块后,知识库检索综合召回命中率从 76% 提升至 95.8%。