WebScraperMac是一款免费的,适用于普通用户(不需要专业 IT 技术的)的爬虫工具,可以方便的通过鼠标和简单配置获取你所想要数据,例如知乎回答列表、微博热门、微博评论、电商网站商品信息、博客文章列表等,通过该应用,你可以将数据导出为JSON或CSV,从而让你可以快速提取与某个网页(包括文本内容)相关的信息。

软件功能
1、使用多线程快速扫描任何网站
2、在WebScraper主窗口中,必须指定要扫描的网页的URL地址以及用于完成此过程的线程数。你可以借助一个简单的滑块来调整后面的参数
3、为避免任何不必要的扫描,您可以选择仅抓取单个网页,然后通过简单的鼠标点击开始此过程。在实时查看窗口中,您可以看到每个链接返回的状态消息,这在处理调试任务时可能会很有用
4、提取各种类型的信息,并将数据导出为CSV或JSON
5、在WebScraper输出面板中,您可以选择希望实用程序从网页中提取的信息类型:URL,标题,描述,与不同类或ID关联的内容,标题,页面内容各种格式(纯文本,HTML或MarkDown)和最后修改日期
6、您还可以选择输出文件格式(CSV或JSON),决定合并空格,并在文件超出一定大小时设置警报。如果您选择采用CSV格式,则可以选择何时在列周围使用引号,采用引号替换引号或行分隔符类型
7、最后但并非最不重要的是,WebScraper还允许您更改用户代理,设置链接数量和来自主页的点击数量的限制,可以忽略查询字符串,并可将根域的子域作为内部页面
|