统计拼音字母使用频率 python

样本来源：《人民日报》

工具：python 2.7.10

环境：windows

先贴上结果：



字母“i”使用频率最高，达到了13.5%；

“n”的使用频率次之，为12.9%；

最低的是“v”，即汉语拼音中的“yu”，使用频率为0.19%。

其中 q 与 t ，m 与 r 差别较小，分别差0.01%和0.04%

下面是详细步骤：

1.取样：

用python编了个爬虫，把《人民日报上》半年的新闻标题和正文抓取下来，共287w个汉字。

这是python爬虫的源码：





需要注意的是《人民日报》中每篇文章的链接由两部分组成，但在每篇新闻页面的源代码中只有后半部分，所以需要我们将它与前半部分合在一起，所以代码中有url_base和url_org。

得到的样本如下：



这个样本里有大量的数字和英文字母，我们稍微处理一下，把里面的中文找出来



正则表达式中 \x80-\xff 是UTF-8编码中，汉字和标点的集

得到的结果是这样的：



2.把汉字转化为拼音字母：

在这感谢 "超江_"   大家请移步到  http://blog.csdn.net/g19920917/article/details/42963659
安装他的 xpinyin库 后，运行如下代码



得到的结果：



提取字母：



结果：



3.统计拼音字母使用频数和频率



运行结果：



得到的数据在excel中稍微整理一下就能得到文章开头的结果。

以上是不严谨的统计分析，仅供参考