爬取文档网站构建 RAG 机器人

构建基于文档的RAG机器人时，首次爬取决定检索器可见内容。本文记录从6个流行文档网站爬取25页的过程，总计150页，394,230令牌，1,037个分块。一次页面往往消耗半个令牌预算。