4. Python脚本学习实战笔记四 新闻聚合

4. Python脚本学习实战笔记四 新闻聚合
                  本篇名言：“人言纷杂，保持自我；工作勤奋，娱乐适度；对待朋友，不玩心术；处理事务，不躁不怒；生活讲究，量入为出；知足常乐，一生幸福！”

                  接下来学习网络相关的知识。如题目标识一般和新闻相关。所以必须学习网络新闻组传输协议（NNTP ,Network News Transfer Protocol）.

                  NNTP服务器的主网络称为Usenet.Usenet是世界性的新闻组网络系统，建立于1980年。大部分互联网在一定程度上是基于这种古老的技术。NNTP使用TCP端口号119。本次要实现自定义新闻收集模块可以替代一些社交网络的Web API.

1.  需求

l  程序从不同的来源处收集新闻

l  用户可以添加新闻来源

l  程序将编译好的新闻报告分派出多个不同格式的目标

l  程序可以轻松添加新的目标

 

2.  工具和准备

本次只需要使用标准块模块即可，包括urllib,nntplib以及time 模块。

此外需要寻找一个新闻组，蛤蟆使用的新闻组是：

news.newsfan.net 

（新帆新闻组是一个在中国大陆免费对公共网络开放使用本地化语言命名组名的新闻组。新帆新闻组不同于互相转信同步信息的Usenet上的新闻组，它在讨论分组中一律使用简体中文。）

NNTP服务器需要支持NEWNEWS命令。

fromnntplib
import NNTP
fromtime
import strftime,time, localtime
day = 24 *
60 *
60
yesterday = localtime(time() -day)
date = strftime('%y%m%d', yesterday)
hour = strftime('%H%M%S', yesterday)
servername = 'news.newsfan.net'
group = 'comp.lang.python'
server = NNTP(servername)
ids = server.newnews(group, date,hour)[1]
 

3.  初次实现

初次实现只需将从NNTP服务器上面下载的新闻信息打印到标准输出中即可。

需要3个方法：

1、  newnews方法：返回在给定日期时间之后的文章

2、  head方法：提供关于文章的各种信息

3、  body方法：提供文章的正文文本。

具体实现代码如下：

fromnntplib
import NNTP
fromtime
import strftime,time, localtime
 
day = 24 *
60 *
60# Number of seconds in one day
 
yesterday = localtime(time() -day)
date = strftime('%y%m%d', yesterday)
hour = strftime('%H%M%S', yesterday)
 
servername = 'news.foo.bar'
group = 'comp.lang.python.announce'
server = NNTP(servername)
 
ids = server.newnews(group, date,hour)[1]
 
 
forid
in ids:
   head = server.head(id)[3]
   for line
in head:
        if line.lower().startswith('subject:'):
            subject = line[9:]
            break
 
   body = server.body(id)[3]
 
   print subject
   print'-'*len(subject)
   print'\n'.join(body)
 
server.quit()

 

 

由于新闻组服务器可能不同，所以该代码可能执行报错

如下：

socket.error:[Errno 10060]

4.  重构

在3中可能执行失败，但是没关系重要的是思路和实现的过程。

                  初次实现不够灵活，需要进行重构。重构的时候利用创建类和方法的形式来增加结构和抽象，表示代码的各个部分。

                  一个NewsAgent类，从新闻来源获取新闻项目并且发布到新闻目标的对象。

                  一个NewItem类，包括标题和主体文本的简单新闻项目。

                  一个NNTPSource类，从NNTP组中获取新闻项目的新闻来源。

                  一个SimpleWebSource类，使用正则表达式从网页中提取新闻项目的新闻来源。

                  一个PlainDestination类，将所有新闻项目格式化为纯文本的新闻目标类。

                  一个HTMLDestination类，将所有新闻项目格式化为HTML的目标类。

主程序上一个runDefaultSetup函数。

初始化一个NewAgent对象。

通过SimpleWebSource类，NNTPSource类获取新闻的源，然后增加输出目标，最后发布新闻到目标，结束，具体如下。

                  重构主要是对类的重新架设。

5.  交付

fromnntplib
import NNTP
fromtime
import strftime,time, localtime
fromemail
importmessage_from_string
fromurllib
import urlopen
importtextwrap
importre
 
day = 24 *
60 *
60# Number of seconds in one day
 
def
wrap(string,max=70):
   """
    Wraps a string to a maximum line width.
    """
 
   return'\n'.join(textwrap.wrap(string)) +
'\n'
 
class
NewsAgent:
   """
    An object that can distribute news itemsfrom news
    sources to news destinations.
    """
   def
__init__(self):
        self.sources = []
        self.destinations = []
 
   def
addSource(self,source):
        self.sources.append(source)
 
   def
addDestination(self,dest):
        self.destinations.append(dest)
 
   def
distribute(self):
        """
        Retrieve all news items from allsources, and
        Distribute them to all destinations.
        """
        items = []
        for source
in
self.sources:
            items.extend(source.getItems())
        for dest
in
self.destinations:
            dest.receiveItems(items)
 
class
NewsItem:
   """
    A simple news item consisting of a titleand a body text.
    """
   def
__init__(self,title, body):
        self.title = title
        self.body = body
 
class
NNTPSource:
   """
    A news source that retrieves news itemsfrom an NNTP group.
    """
   def
__init__(self,servername, group, window):
        self.servername = servername
        self.group = group
        self.window = window
 
   def
getItems(self):
 
        start = localtime(time() -
self.window*day)
        date = strftime('%y%m%d', start)
        hour = strftime('%H%M%S', start)
 
        server = NNTP(self.servername)
 
 
        ids = server.newnews(self.group,date, hour)[1]
 
        for id
in ids:
            lines = server.article(id)[3]
            message = message_from_string('\n'.join(lines))
 
            title = message['subject']
            body = message.get_payload()
            if message.is_multipart():
                body = body[0]
 
            yield NewsItem(title, body)
 
        server.quit()
 
class
SimpleWebSource:
   """
    A news source that extracts news items froma Web page using
    regular expressions.
    """
   def
__init__(self,url, titlePattern, bodyPattern):
        self.url = url
        self.titlePattern =re.compile(titlePattern)
        self.bodyPattern =re.compile(bodyPattern)
 
   def
getItems(self):
        text = urlopen(self.url).read()
        titles = self.titlePattern.findall(text)
        bodies = self.bodyPattern.findall(text)
        for title, body
inzip(titles, bodies):
            yield NewsItem(title, wrap(body))
 
class
PlainDestination:
   """
    A news destination that formats all itsnews items as
    plain text.
    """
   def
receiveItems(self,items):
        for item
in items:
            print item.title
            print'-'*len(item.title)
            print item.body
 
 
class
HTMLDestination:
   """
    A news destination that formats all itsnews items
    as HTML.
    """
   def
__init__(self,filename):
        self.filename = filename
 
   def
receiveItems(self,items):
 
        out = open(self.filename,
'w')
        print >> out,
"""
        <html>
          <head>
            <title>Today'sNews</title>
          </head>
          <body>
          <h1>Today's News</h1>
        """
 
        print >> out,
'<ul>'
        id = 0
        for item
in items:
            id += 1
            print >> out,
'  <li><a href="#%i">%s</a></li>' % (id, item.title)
        print >> out,
'</ul>'
 
        id = 0
        for item
in items:
            id += 1
            print >> out,
'<h2><aname="%i">%s</a></h2>' %(id, item.title)
            print >> out,
'<pre>%s</pre>' % item.body
 
        print >> out,
"""
          </body>
        </html>
        """
 
def
runDefaultSetup():
   """
    A default setup of sources and destination.Modify to taste.
    """
   agent = NewsAgent()
 
 
   # A SimpleWebSource that retrieves news from the
   # BBC news site:
   bbc_url = 'http://news.bbc.co.uk/text_only.stm'
   bbc_title = r'(?s)a
href="[^"]*">\s*<b>\s*(.*?)\s*</b>'
   bbc_body = r'(?s)</a>\s*<br/>\s*(.*?)\s*<'
   bbc = SimpleWebSource(bbc_url, bbc_title, bbc_body)
 
   agent.addSource(bbc)
 
   # An NNTPSource that retrieves news fromcomp.lang.python.announce:
   clpa_server = 'news.foo.bar'# Insert real server name
   clpa_group = 'comp.lang.python.announce'
   clpa_window = 1
   clpa = NNTPSource(clpa_server, clpa_group, clpa_window)
 
   agent.addSource(clpa)
 
   # Add plain text destination and an HTMLdestination:
   agent.addDestination(PlainDestination())
   agent.addDestination(HTMLDestination('news.html'))
 
   # Distribute the news items:
   agent.distribute()
 
if __name__ ==
'__main__': runDefaultSetup()

 

 

6.  新闻组相关

·      comp.*- 关于计算机的相关话题。

·      news.*- 关于Usenet本身的讨论。

·      sci.*- 关于科学方面的讨论。

·      humanities.*- 关于人文学科（文学、哲学等等）的讨论。

·      rec.*- 关于娱乐活动的讨论（游戏、爱好等等）。

·      soc.*- 关于社会话题、社会文化的讨论。

·      talk.*- 关于社会及宗教热点话题的讨论。

·      misc.*- 其他无法归入现有层级的讨论。

·      alt.*- 无法归于其他类别或不愿归入其他类别的话题。