网站首页  软件下载  游戏下载  源码下载  词典软件  教程攻略

请输入您要查询的软件：

　

软件 小米范网站批量爬虫工具 1.4 中文免费版
图标
分类 软件下载-网络软件-网络辅助-网络爬虫软件下载 网络辅助
语言 简体中文
大小 59.6MB
软件类型 国产软件
发布时间
用户评分 3
备案号
官方网址
软件授权 免费软件
操作系统 Windows平台
厂商
下载
介绍

小米范网站批量爬虫工具是一款网站辅助的小工具，它能针对网站进行快速批量的爬取，小米范网站批量爬虫工具能将爬取的URL进一步调用wvs、sqlmap、brutexss等工具进行检测，挺实用，也蛮简单，需要的朋友们可以下载试试吧！

使用方法

随便点击下面的任一个文件

出现如下界面时，点任意键运行。

打开软件界面后，点击新建任务，输入要检测的URL。


设置子域名白名单，属于白名单域名的URL则自动保留并进行抓取。
设置并发站点、并发线程等参数，点击开始即可。

工作流程
假设我们新建任务，放入100个URL作为爬虫的起始URL，那么具体的爬取过程如下：
1、针对这100个URL，按照是否同源进行合并，同源的URL则放入一个目标，并将这些URL作为这个源的起始URL。
2、针对每个目标进行爬取（默认并发5个目标），针对每个目标的起始URL采用浏览器点击抓包（默认每个目标最多开5个浏览器）+HTML解析的方式获取URL，浏览器点击在后台运行，没有界面，这里的浏览器点只是在点击后将发出去的请求URL记录，但并不真正发出去请求。
3、将前两步收集到的URL作为种子，进行传统的爬取，这里的爬取主要采用了webmagic框架，并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配，匹配到黑名单则跳过，下载到的每个页面提取出来的URL会进行子域名白名单匹配，匹配到白名单则会放入爬取队列。
针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测，目前还在考虑再加入一些其他的检测工具。
此外也提供了目录扫描功能，在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。
截图
随便看

　

网盟-旗舰软件下载站，将绿色免费商业版破解软件、共享软件、游戏、电影、电视剧一网打尽!

　

Copyright © 2002-2024 cnnbu.com All Rights Reserved
更新时间：2025/4/7 18:10:31