webmagic和maven的配置及简单开始

两个月前在班里分享的东西，看到默默地贴出来。。。

这里的前两步是平台的搭建，这些不仅使用于爬虫，以后的开发都是很常用的。

安装Maven

1、将apache-maven-3.2.3-bin.zip解压到你要安装MVN的位置（最好和Java同目录），记录位置路径

2、右击我的电脑-属性-高级系统属性-环境变量

①检查是否有变量JAVA_HOME，有的话继续，没有转②。

新建变量M2_HOME，变量值：你刚刚记录的maven解压的位置路径，我的是E:\Program Files\apache-maven-3.2.3

在M2_HOME所在的那个目录下找一个path变量，就是当时设置的Java的path变量，在最后加上%M2_HOME%\bin;多个值之间需要有分号隔开，可以到②中对照最后变量的值。

②如果按照①操作过后直接跳过

新建变量JAVA_HOME，变量值：jdk的安装路径

新建变量M2_HOME，变量值：你刚刚记录的maven解压的位置路径，我的是E:\Program Files\apache-maven-3.2.3

修改classpath变量值为.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

修改path变量值为;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;%M2_HOME%\bin



3、检测MVN配置正确，打开cmd

命令一：echo %M2_HOME%

命令二：mvn -v

正确结果

安装m2e插件

打开Eclipse-help-Install New Software…

接着是一个Install对话框，点击Work with:字段边上的Add按钮，你会得到一个新的Add Repository对话框，在Name字段中输入m2e，Location字段中输入https://repository.sonatype.org/content/sites/forge-sites/m2e/0.10.0/S/20100205-2200/，然后点击OK。

之后状态见图，正确直接安装。





安装完成后单击Eclipse菜单栏的File-new-project，弹出New Project对话框，看是否可以新建Maven选项，详见图



确认后退出

真正的webmagic开始了

打开此网页：http://club.xywy.com/static/20141009/53336956.htm

新建一个爬虫文件夹，作为你的爬虫的工作路径，解压MyWebmagic到此文件夹，打开Eclipse（请双击桌面的图标），设置你的爬虫工作路径，File-Import-Existing Maven Project，单击Root Directory的Browse，选择你的爬虫文件夹，finish



如图打开运行，对照网页，你看它究竟干了什么呢？

参考

http://webmagic.io/docs/zh/