网站行业搜索,数据源来自于互联网

最近公司管理层有个新想法,想利用百度,GOOGLE等网站的海量信息,做一个我们自己的行业搜索网站,做为公司的一个新频道,也可以说一个特色服务;第二天交个思路（上面的流程图）,数据库方面的内容,需要的可以在第四步骤之后写到库;以前有过网络编程的简单知识和正则基础,所以基本没有问题.考虑到性能问题,要用到多线程编程,这方面只有一点点了解,老板就让我把这点研究一下.之后确定一个开发进度和任务安排.今天看了多线程的文章,很不错,发给大家看看:C#.net多线程编程教学(1): 线程同步多任务和多线程

流程图解说:

开发工作:
a.百度数据分析模块
b.业务处理模块
c.表示层模块
d.数据库设计
详细说明:
a. 【百度数据分析模块】主要工作
1.百度新闻列表页分析
2.制定新闻列表页正则
b. 【业务处理模块】主要工作
1.根据组合URL,获取HTML数据
2.处理HTML数据,由正则提取有用信息(如标题,链接,摘要,时间等等)
3.结构化提取信息(记录到模拟数据库和SQLSERVER),显示给用户
4.多线程编程,性能测试,功能测试
c. 【表示层模块】主要工作
1.友好提示效果
2.AJAX无刷新提交
d. 【数据库设计】主要工作
1. 新闻表

编号

标题

标题链接

来源

摘要

日期

图片新闻

图片

分类

百度标题是加粗的,获取时加粗的处理
2. 词条表

编号

词条关键值

词条

词条关键值点击量

词条点击量

日期

..

3.分类表(一分类对应一正则)