Firecrawl:网络到LLM的数据提取与自主爬虫代理

Firecrawl提供将网络内容转换为LLM准备格式的工具,并增加了自主爬虫代理。
Key insights
Firecrawl提供LLM友好的网络提取和SDK
Firecrawl提供旨在生成LLM友好输出(干净的Markdown,结构化的JSON)的抓取和爬虫工具,并包括通过提示或模式进行的提取。该项目提供Python/JS SDK,并与LangChain和LlamaIndex集成。它是开源的(AGPL-3.0),可以自托管;团队建议使用官方云进行API密钥管理。
v2.7.0专注于稳定性、企业功能和更丰富的元数据
v2.7.0维护版本增加了品牌提取改进、实验性NOQ捕获系统、minAge缓存、UUIDv7 ID、ZDR企业搜索支持、更快的截图、更好的重定向和URL映射、部分结果、更丰富的元数据、SDK改进、并发配置和PostgreSQL支持自托管,以及多个错误修复。
新的自主爬虫代理在没有提供URL的情况下查找和提取深层数据
Firecrawl推出了一种AI驱动的爬虫代理,该代理在给定用户的信息需求时,自主搜索、浏览和提取网站内容——包括深层或隐藏页面,并返回结构化结果。该代理支持并发多站点爬虫,旨在消除手动爬虫开发和URL提供的需要。