🚀 在 vibe coding 时，如果遇到大模型不熟悉的技术栈，即使把文档做了索引，效果也不尽如人意（可能跟各家 RAG 的实现细节有关）。
理想状态是：直接把整份文档 下载下来，作为上下文扔给大模型处理。
这里分享 2 个实用工具，帮你快速下载网站文档👇
1️⃣ exa.ai 的 Crawling 工具
可以快速抓取某个网站的所有页面（上限 100 页），并导出为 JSON 格式。
2️⃣ builder.io 的开源 gpt-crawler
GitHub 地址：https://github.com/BuilderIO/gpt-crawler
功能类似，同样支持整站抓取。如果你在使用时遇到 TypeScript 类型报错，可以参考这个 issue：https://github.com/BuilderIO/gpt-crawler/issues/151。
⸻
如果有其他的工具，或者更好的方式，也请评论分享下哦 😇
理想状态是：直接把整份文档 下载下来，作为上下文扔给大模型处理。
这里分享 2 个实用工具，帮你快速下载网站文档👇
1️⃣ exa.ai 的 Crawling 工具
可以快速抓取某个网站的所有页面（上限 100 页），并导出为 JSON 格式。
2️⃣ builder.io 的开源 gpt-crawler
GitHub 地址：https://github.com/BuilderIO/gpt-crawler
功能类似，同样支持整站抓取。如果你在使用时遇到 TypeScript 类型报错，可以参考这个 issue：https://github.com/BuilderIO/gpt-crawler/issues/151。
⸻
如果有其他的工具，或者更好的方式，也请评论分享下哦 😇