网页抓取与理解

分享海报

@user_f12a44b7/web-scraper-cascade

多策略级联回退的专业网页内容抓取与理解工具。从轻量HTTP请求开始，逐步升级到HTML解析、JavaScript渲染（Playwright），内置新闻检测、样板文本移除、结构化元数据提取和LLM实体识别。当用户说"抓取网页""爬取内容""网页数据提取""批量爬取""网页内容理解""采集文章数据"时触发。不适用于：需登录认证的网站内容抓取（需额外Cookie/Session配置）、API文档爬取（建议用API文档专用工具）、大文件下载。