资源详情内容
WebScraper 是一款运行于 macOS 桌面的网页抓取与网站归档工具。它按用户配置的规则扫描目标站点,提取页面中的数据或整站内容,并导出为结构化文件,适用于数据采集、站点内容存档与链接整理等场景。
数据提取
- 支持提取页面元数据与正文内容,正文可选文本、HTML 或 Markdown 形式。
- 可按 class 或 id 定位页面元素,仅抓取指定区块。
- 支持正则表达式匹配,从页面源码中提取自定义字段。
- 提供邮箱地址抓取的简化配置,无需手写匹配规则。
抓取配置
- 可配置扫描起始地址、范围与请求参数,控制抓取深度。
- 借助 ProxyCrawl 服务为每次请求更换 IP 与 User-Agent。
- 提供 Helper 窗口:在内置浏览器中双击选取 class/id,或框选文本自动生成正则,结果直接回填到列配置。
导出
- 可自选导出列,输出 CSV 或 JSON 文件。
- 支持将全站图片下载至指定文件夹。
- 可收集并导出站点全部链接。
- 支持输出单一文本文件(Markdown 或纯文本),用于整站内容归档。
项目管理
- 抓取配置保存为 .wsproj 项目文件,可重复执行、修改后再次运行。
- 扫描结果以表格形式预览,逐列显示提取到的内容。
猜你喜欢
继续滚动加载更多
获取方式
5 积分
登录后获取