WebScraper

网页数据抓取工具

版本
4.15.9
语言
英语
系统
macOS 10.14+
架构
通用
大小
5.7 MB
更新
2026-11-18
资源截图 1

资源详情内容

WebScraper 是一款运行于 macOS 桌面的网页抓取与网站归档工具。它按用户配置的规则扫描目标站点,提取页面中的数据或整站内容,并导出为结构化文件,适用于数据采集、站点内容存档与链接整理等场景。

数据提取

  • 支持提取页面元数据与正文内容,正文可选文本、HTML 或 Markdown 形式。
  • 可按 class 或 id 定位页面元素,仅抓取指定区块。
  • 支持正则表达式匹配,从页面源码中提取自定义字段。
  • 提供邮箱地址抓取的简化配置,无需手写匹配规则。

抓取配置

  • 可配置扫描起始地址、范围与请求参数,控制抓取深度。
  • 借助 ProxyCrawl 服务为每次请求更换 IP 与 User-Agent。
  • 提供 Helper 窗口:在内置浏览器中双击选取 class/id,或框选文本自动生成正则,结果直接回填到列配置。

导出

  • 可自选导出列,输出 CSV 或 JSON 文件。
  • 支持将全站图片下载至指定文件夹。
  • 可收集并导出站点全部链接。
  • 支持输出单一文本文件(Markdown 或纯文本),用于整站内容归档。

项目管理

  • 抓取配置保存为 .wsproj 项目文件,可重复执行、修改后再次运行。
  • 扫描结果以表格形式预览,逐列显示提取到的内容。

猜你喜欢

继续滚动加载更多
获取方式 5 积分 登录后获取