利用DHT网络原理制作bt采集蜘蛛

Torrent文件内的数据结构分为以下几部分：找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。

announce:Tracker的主服务器

announce-list：Tracker服务器列表

comment:种子文件的注释

comment.utf-8：种子文件注释的utf-8编码

creation date：种子文件建立的时间，是从1970年1月1日00:00:00到现在的秒数。

encoding:种子文件的默认编码，比如GB2312，Big5，utf-8等

info：所有关于下载的文件的信息都在这个字段里，它包括多个子字段，而且根据下载的是单个文件还是多个文件，子字段的项目会不同。

当种子里包含多个文件时，info字段包括如下子字段：

files：表示文件的名字，大小，该字段包含如下三个子字段：

        lenghth：文件的大小，用byte计算

         path：文件的名字，在下载时不可更改

          path.utf-8：文件名的UTF-8编码，同上

以上的三个字段每个文件都有一组值。

name：推荐的文件夹名，此项可于下载时更改。

name.utf-8:推荐的文件夹名的utf-8编码，同上。

piece length：每个文件块的大小，用Byte计算

pieces：文件的特征信息，该字段比较大，实际上是种子内包含所有的文件段的SHA1的校验值的连接，即将所有文件按照piece length的字节大小分成块，每块计算一个SHA1值，然后将这些值连接起来就形成了pieces字段，由于SHA1的校验值为20Byte，所以该字段的大小始终为20的整数倍字节。该字段是Torrent文件中体积最大的部分，可见如果大文件分块很小，会造成Torrent文件体积庞大。

publisher：文件发布者的名字

publisher.utf-8：文件发布者的名字的utf-8编码

publisher-url：文件发布者的网址

publisher-url.utf-8：文件发布者网址的utf-8编码。

另外，当发布单文件时，files字段是没有的，而

lenghth:

name：

name.utf-8:

这三个字段负责描述单文件的属性：大小，名字，名字的utf-8编码。其他项目和多文件相同。

以上的项目即为info字段的全部。

说到info就不得不说INFO_HASH，这个值是info字段的HASH值，20个Byte，同样是使用SHA1作为HASH函数。由于info字段是发布的文件信息构成的，所以INFO_HASH在BT协议中是用来识别不同的种子文件的。基本上每个种子文件的INFO_HASH都是不同的(至少现在还没有人发现有SHA的冲突)，所以BT服务器以及客户端都是以这个值来识别不同的种子文件的。

计算的具体范围是从info字段开始(不包含"info"这四个字节)，一直到nodes字段为止(不包含"nodes"这5个字节和nodes前边表示nodes字段长度的"5:"这两个字节)。另外，INFO_HASH值是即时计算的，并不包含在Torrent文件中。

nodes:最后的一个字段是nodes字段，这个字段包含一系列ip和相应端口的列表，是用于连接DHT初始node。