学以致用——微博文章内容统计分析之一（Excel+GraphLab）

记得以前一位同事说过，好的技术人员都是比较懒的，因为懒，他会想尽办法找到解决问题的最有效的方法。
如果不使用Excel函数，完全可以通过人肉的方式从微博中提取内容，但是，如果数据量很大、需要耗用很多时间怎么办？

为了分析在微博中总共分析了多少条使用“形色”软件识别出的花花草草，采用了以下步骤。

1. 使用微博的搜索功能，搜索出所有包含“形色”关键字的微博文章，得到“搜索结果”页。
2. 想通过Excel的数据导入功能直接从网站导入内容，出现Javascript错误，放弃。
3. 使用笨办法，将页面上的内容复制到剪贴板，然后，粘贴值到Excel。
4. 增加索引列（数字序号），通过排序，筛选出多余列并将其删除。
5. 灵活使用mod(), right(), left(), len(), mid(), find(), trim(), if(), text(), year(), month(), day(), minute(), hour()等函数，提取内容。
实例：
=IF(MOD(ROW(B2),2)=0,TRIM(LEFT(B2,FIND(" ",B2)-1)),"")

=IF(MOD(ROW(B2),2)=0,TRIM(MID(B2,FIND(" ",B2,1)+1,FIND(" ",B2,7)-FIND(" ",B2,1))),"")

=IF(MOD(ROW(B2),2)=0,TRIM(MID(B3,FIND("《",B3)+1,FIND("》",B3)-FIND("《",B3)-1)),"")

=IF(MOD(ROW(B2),2)=0,TRIM(MID(B3,FIND("★",B3)+5,FIND("O",B3)-FIND("★",B3)-6)),"")

提取前的微博页面纯文本如下所示：

预见未来to50

7月25日 20:25 来自 小米手机5

形色识别此图为飞廉——形色，遇见全世界的植物O网页链接 ​​​​
阅读 0  推广

转发

评论

ñ赞
c
预见未来to50

7月25日 20:24 来自 小米手机5

形色识别此图为蜀葵——形色，遇见全世界的植物O网页链接 ​​​​
阅读 0  推广

转发

评论

ñ赞
c
预见未来to50

7月24日 20:52 来自 小米手机5

形色识别此图为紫薇——形色，遇见全世界的植物O网页链接 ​​​​
阅读 0  推广

转发

评论

ñ赞

c

提取后的结果如下：
Date,Time,Plant

2017/4/2,11:57,蔓长春花

2017/4/2,11:58,垂丝海棠

2017/4/2,17:04,球序卷耳

2017/4/3,13:17,红花酢浆草

2017/4/3,13:18,蝴蝶花

2017/4/3,18:36,角堇

2017/4/3,18:39,四季海棠

2017/4/3,18:41,三色堇

2017/4/3,18:41,三色堇

2017/4/3,18:43,紫罗兰

2017/4/3,18:44,金鱼草

2017/4/3,18:45,野罂粟

2017/4/3,18:46,金鱼草

2017/4/3,18:48,毛茛

2017/4/4,21:34,碧桃

2017/4/8,21:01,杜鹃花

2017/4/8,21:03,丁香花

2017/4/13,13:09,地钱

2017/4/13,13:12,宝盖草

2017/4/13,13:13,黄连木

2017/4/13,13:15,榉树

2017/4/14,13:02,紫荆

2017/4/16,11:40,石楠

2017/4/16,16:01,鸡爪槭

2017/4/16,16:02,红花檵木

2017/7/24,20:52,紫薇

2017/7/25,20:24,蜀葵

2017/7/25,20:25,飞廉

怎么样？非结构化的数据转换为结构化数据后，是不是看着舒服多了？
接下来，可以用GraphLab分析、展现数据了。



可见，4、5月真是赏花好时节啊！