Why Naive Text Extraction Destroys RAG on Multi-Column PDFs
← 返回今日版面来源
1 条当AI检索增强生成（RAG）管道在源自科学论文或财务报告的问题上幻觉时，调试过程几乎总是关注错误层面。工程师测试替代嵌入模型、调整分块令牌预算，或引入昂贵的跨编码器重排序器。然而，在失败案例的相当一部分中，错误发生在嵌入之前：在文本提取层，该解析器尝试从并非设计用于存储人类阅读顺序的格式中重建阅读顺序。PDF实际上存储
当AI检索增强生成（RAG）管道在源自科学论文或财务报告的问题上幻觉时，调试过程几乎总是关注错误层面。工程师测试替代嵌入模型、调整分块令牌预算，或引入昂贵的跨编码器重排序器。然而，在失败案例的相当一部分中，错误发生在嵌入之前：在文本提取层，该解析器尝试从并非设计用于存储人类阅读顺序的格式中重建阅读顺序。PDF实际上存储