Reader: 面向 LLM Agent 的开源生产级 Web 抓取与爬取引擎
• 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽
• 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音
• 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线
https://github.com/vakra-dev/reader
#网页抓取 #网络爬虫 #LLM #Agent #Cloudflare #Nodejs #CLI #Proxy #GitHub #开源工具 #生产环境
• 内置 Cloudflare/Turnstile 等反爬绕过能力,包含 TLS 指纹、DNS over TLS、WebRTC 掩蔽
• 抓取后直接输出干净的 Markdown/HTML,自动抽取正文并清理导航栏、弹窗、Cookie 横幅等噪音
• 同时提供 CLI 与 Node.js API,支持并发批量抓取、站点 BFS 爬取、浏览器池与代理轮换用于稳定上线
https://github.com/vakra-dev/reader
#网页抓取 #网络爬虫 #LLM #Agent #Cloudflare #Nodejs #CLI #Proxy #GitHub #开源工具 #生产环境