Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

架构

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。

Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

• 齐博 php视频系统 1.0
• 三福asp铁观音茶厂网站源码 v2.0
• PHP 宠物搜索引擎 20110614
• FlatPress php开源个人博客系统 v1.0
• FocusSNS 社区论坛 v1.1.3
• PHPnew blog 个人博客系统 v3.3 Build20130114
• 小团php团购导航程序 1.151
• 法拉利asp汽车美容连锁网站源码 1.0
• 汇成asp企业网站管理系统 v4.6
• 江西 asp小游戏网整站源码(含52162条数据) v2.0
• 鸿天php留言簿 5.20 XP
• 最简单无刷新聊天室.net 源码
• asp 九天交换链 2013.0515
• 思高 asp 数码商城 1.8
• .net城堡BBS论坛源码
• Discuz!X2多帐号登录插件(灯鹭) v1.1 免费版
• 第一团购源码建站系统 v3.91
• Gblog 个人博客网站系统 v1.5 build 120615 手动安装版
• Gblog 个人博客网站系统1.5 build 120615 自动安装版
• LogX 个人博客系统V0.9 Beta3
• LogX 个人博客系统 V0.9 Beta3
• ELINCMS php轻量级企业网站建站系统 1.7
• php 化工产品仓储管理系统 1.01
• 极速安康 asp学校网站程序 3.1.2
• rar在线转zip格式php程序 1.0
• 完美万词王(英语背单词工具) for iPhone V1.6.8 苹果手机版
• Nomad Sculpt(3D雕刻建模)for iPhone V1.78 苹果手机版
• mooding(心情摩天轮)for iPhone V1.5.2 苹果手机版
• 爱普生SC-F550 打印机驱动 v8.03 官方安装版 32/64位
• 重复文件查找删除工具Cisdem Duplicate Finder for Mac v6.5 一键免费安装版
• 独阅读 for Android v1.0.3 安卓手机版
• 小丁老师 for android v1.0.1 安卓手机版
• 极易写作 for android v2.2.7 安卓手机版
• 飞项(办公协作管理软件) v4.0.6 安卓版
• 书栈网 for Android v1.7.0 安卓手机版
• 剑圣与剑圣1.0.087正式版 附隐藏英雄密码及攻略 魔兽防守地图
• DNF圣职者模型无时装改黑帮教父补丁 免费版
• DNF魔法师模型改人头企鹅身萝莉补丁 免费版
• 辐射4钢铁兄弟会装饰包MOD 免费版
• 怪物猎人世界提高技能属性 惨爪β套装基础技能属性提高MOD
• 怪物猎人世界自动显示怪物可破坏的弱点部位MOD
• 怪物猎人世界太刀特效合集 三种霸气太刀特效MOD下载
• 怪物猎人世界近战白斩最强优化合集MOD
• lol熊猫换肤助手 无限视距、补刀提示、一键摸眼、野怪计时 v12.2 免费绿色版
• 怪物猎人世界最强帝王刀和冥灯龙太刀伤害加强mod
• bulk
• bulk head
• bulk large
• bulk goods
• bulk mail
• bulk modulus
• bulk of…
• bulk order
• bulk pack
• bulk powder