Scrapy抓取web站点爬虫框架部署

Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持 scrapy提供一个工具来生成项目，生成的项目中预置了一些文件，用户需要在这些文件中添加自己的代码；但是依赖的第三方库是真多；git clone https://github.com/scrapy/scrapy.git或者；wget https://github.com/scrapy/scrapy/archive/0.14.zip
yum 安装依赖库；yum install gcc gcc-c++ mysql mysql-server mysql-devel libffi libxml2 libxml2-devel libxslt libxslt-devel libxslt1-devel ruby
Python-2.7.6.tgzPython2.7 以上版本；(示例使用2.7 和3.6 以上print格式不同; 如3.0以上python，下载第三方依赖库时看下版本支不支持python2.7;以下有些第三方库需要做出setup.py更改才能install )wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz./configure --prefix=/usr/local/pythonmake &&make installmv /usr/bin/python /usr/bin/python_oldln -s /usr/local/python/bin/python2.7 /usr/bin/pythonpython -V
3、pip-9.0.1.tar.gzpip python包管理工具；wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9tar -xf pip-9.0.1.tar.gz cd pippython setup.py buildpython setup.py install
4、setuptools-11.3.tar.gzsetuptools是PythonEnterpriseApplicationKit（PEAK）的一个副项目，它是一组Python的distutilsde工具的增强工具（适用于Python2.3.5以上的版本，64位平台则适用于Python2.4以上的版本），可以让程序员更方便的创建和发布 Python 包，特别是那些对其它包具有依赖性的状况；setuptools 模块；来构建，安装，升级和卸载Python包；( setuptools版本11.3就行；版本太高依赖更多 )python下的setuptools带有一个easy_install的工具,在安装python的每三方模块、工具时很有用,也很方便。安装setuptools前先安装pip；
wget https://pypi.python.org/packages/34/a9/65ef401499e6878b3c67c473ecfd8803eacf274b03316ec8f2e86116708d/setuptools-11.3.tar.gztar -xf setuptools-11.3.tar.gz cd setuptoolspython setup.py buildpython setup.py install
5、zope.interface-4.1.1.tar.gzPython 支持多继承，但是不支持接口，zope.inteface 是其三方的接口实现库，在twisted中有使用；wget https://pypi.python.org/packages/a2/af/c4a17a2ab696c84c304f7c6c66236ee0ea019cf79852af32c7d3f89e0b8e/zope.interface-4.1.1.tar.gz#md5=edcd5f719c5eb2e18894c4d06e29b6c6tar -xf zope.interface-4.1.1.tar.gz cd zope.interface/python setup.py install
6、Twisted-12.1.0.tar.bz2 Twisted是用Python实现的基于事件驱动的网络引擎框架；wget https://twistedmatrix.com/Releases/Twisted/12.1/Twisted-12.1.0.tar.bz2tar -xf Twisted-12.1.0.tar.bz2 cd Twistedpython setup.py buildpython setup.py install
7、six-1.10.0.tar.gz顾名思义 包装python2 和python3 的差异；wget https://pypi.python.org/packages/b3/b2/238e2590826bfdd113244a40d9d3eb26918bd798fc187e2360a8367068db/six-1.10.0.tar.gz#md5=34eed507548117b2ab523ab14b2f8b55tar -xf six-1.10.0.tar.gz mv six-1.10.0/ sixcd six/python setup.py buildpython setup.py install
8、w3lib-1.17.0.tar.gz w3lib模块，这个包用来移除一些多余的html标签；wget https://pypi.python.org/packages/ac/b6/91ae356d48dd1d48732967eb79b2e41be4b2493b4e43a89be57b1f3be37d/w3lib-1.17.0.tar.gz#md5=03f4d6160208c547e4c31a63486b9516tar -xf w3lib-1.17.0.tar.gz python setup.py buildpython setup.py install
9、MySQL-python-1.2.5.zipMySQLdb是Python流行的MySQL数据库服务器接口；（因为抓取过程中需要mysql数据库来支撑）wget https://pypi.python.org/packages/a5/e9/51b544da85a36a68debe7a7091f068d802fc515a3a202652828c73453cad/MySQL-python-1.2.5.zip#md5=654f75b302db6ed8dc5a898c625e030cunizp MySQL-python-1.2.5.zip cd MySQL-python/python setup.py buildpython setup.py install
二、第三方依赖库；会示安装需要的插件；然后在 python setup.py install 模块可以使用pip install ;也也可以直接下载包install( 缺少的依赖模块 按提示版本的需求安装就行；版本太高有可能插件更多哦 )
1、lxml-3.4.4.tar.gzlxml的XML工具包是一个Python的C库libxml2和libxslt结合；(还可以yum安装）wget https://pypi.python.org/packages/63/c7/4f2a2a4ad6c6fa99b14be6b3c1cece9142e2d915aa7c43c908677afc8fa4/lxml-3.4.4.tar.gz#md5=a9a65972afc173ec7a39c585f4eea69ctar -xf lxml-3.4.4.tar.gz cd scrapy/python setup.py buildpython setup.py install
2、pyOpenSSL-17.0.0.tar.gzOpenSSL库 wget https://pypi.python.org/packages/9f/32/80fe4fddeb731b7766cd09fe0b2032a91b43dae655e216792af2a6ae3190/pyOpenSSL-17.0.0.tar.gz#md5=0704ca95106960375cfe78259453094atar -xf pyOpenSSL-17.0.0.tar.gz cd pyOpenSSL/python setup.py buildpython setup.py install
3、cffi-1.10.0.tar.gzPython的外部函数接口；基于C声明；wget https://pypi.python.org/packages/5b/b9/790f8eafcdab455bcd3bd908161f802c9ce5adbf702a83aa7712fcc345b7/cffi-1.10.0.tar.gz#md5=2b5fa41182ed0edaf929a789e602a070tar -xf cffi-1.10.0.tar.gz cd cffi/python setup.py buildpython setup.py install
4、cryptography-1.8.1.tar.gzcryptography 密码学是一个包，它为Python开发人员提供加密配方和原语wget https://pypi.python.org/packages/ec/5f/d5bc241d06665eed93cd8d3aa7198024ce7833af7a67f6dc92df94e00588/cryptography-1.8.1.tar.gz#md5=9f28a9c141995cd2300d0976b4fac3fbtar -xf cryptography-1.8.1.tar.gz cd cryptography/python setup.py buildpython setup.py install

5、pyparsing-1.5.7.tar.gzpyparsing模块来创建和执行简单的语法的一种替代方法，与传统的lex/yacc的方法，或使用正则表达式。的pyparsing模块提供了一个类，客户端代码使用Python代码直接构造语法库。wget https://pypi.python.org/packages/6f/2c/47457771c02a8ff0f302b695e094ec309e30452232bd79198ee94fda689f/pyparsing-1.5.7.tar.gz#md5=9be0fcdcc595199c646ab317c1d9a709tar -xf pyparsing-1.5.7.tar.gz cd pyparsingpython setup.py buildpython setup.py install

6、idna-2.5.tar.gz IDNA 模块，自带Python标准库；国际化域名（IDNA）中的应用wget https://pypi.python.org/packages/d8/82/28a51052215014efc07feac7330ed758702fc0581347098a81699b5281cb/idna-2.5.tar.gz#md5=fc1d992bef73e8824db411bb5d21f012tar -xf idna-2.5.tar.gz cd idnapython setup.py buildpython setup.py install 7、pycparser-2.17.tar.gzpycparser 模块 语法分析器 是使用PLY模块分析c语言语法的模块；可以很容易地集成到需要解析C源代码的应用；wget https://pypi.python.org/packages/be/64/1bb257ffb17d01f4a38d7ce686809a736837ad4371bcc5c42ba7a715c3ac/pycparser-2.17.tar.gz#md5=ca98dcb50bc1276f230118f6af5a40c7tar -xf pycparser-2.17.tar.gz cd pycparser/python setup.py buildpython setup.py install
8、ipaddress-1.0.18.tar.gzipaddress模块和类的功能使它简单处理IP地址相关的各种任务，包括检查是否有两台主机在同一子网，在一个特定的子网的所有主机迭代，检查是否一个字符串代表一个有效的IP地址或网络的定义；wget https://pypi.python.org/packages/4e/13/774faf38b445d0b3a844b65747175b2e0500164b7c28d78e34987a5bfe06/ipaddress-1.0.18.tar.gz#md5=310c2dfd64eb6f0df44aa8c59f2334a7tar -xf ipaddress-1.0.18.tar.gz cd ipaddresspython setup.py buildpython setup.py install
9、enum34-1.1.6.tar.gz ENUM类型 在Python 模块自定义类型模块wget https://pypi.python.org/packages/bf/3e/31d502c25302814a7c2f1d3959d2a3b3f78e509002ba91aea64993936876/enum34-1.1.6.tar.gz#md5=5f13a0841a61f7fc295c514490d120d0tar -xf enum34-1.1.6.tar.gz cd /usr/local/enum34/python setup.py install
10、packaging-16.8.tar.gzPython包的核心打包模块wget https://pypi.python.org/packages/c6/70/bb32913de251017e266c5114d0a645f262fb10ebc9bf6de894966d124e35/packaging-16.8.tar.gz#md5=53895cdca04ecff80b54128e475b5d3btar -xf packaging-16.8.tar.gz cd packaging/python setup.py buildpython setup.py install
11、asn1crypto-0.11.1.tar.gzasn1crypto 模块；一个快速，用于解析和序列化ASN纯Python库wget https://pypi.python.org/packages/97/a4/bf830df887ea2312d3114ea6f01c8ff0af3fe4d6fd088402bd99b5515746/asn1crypto-0.11.1.tar.gz#md5=d3c24181d33a355e389b6fbece7e24cftar -xf asn1crypto-0.11.1.tar.gz cd asn1crypto-0.11.1python setup.py buildpython setup.py install
三、完善第三方库最后切换到scrapy 目录下进行安装；cd scrapy/python setup.py buildpython setup.py install
# whereis scrapyscrapy: /usr/local/scrapy# cp -rp /usr/local/scrapy/bin/scrapy /usr/bin/
# scrapy version
Scrapy 0.14.4