【Jieba】json数据处理-提取与分词

0x00 前言

之前说了怎么把数据从数据库里提取出来，然而，我们提取出来的是json串，对于想要进一步处理这些数据的孩纸们而言，还是喜欢用’\t’分割的数据来作训练集吧？（当然会用json.loads()然后当成dict来计算的孩纸们我为你们鼓掌）

最近学校的导师给了这么一个任务，大概就是要做类似的这么一件事吧，写好了所以来这里记录一下~

那么，扩展开来一点说，对于一个json串格式的数据集，我们需要提取其中的一部分，在懒得用awk来拆分拾取所需情报的情况下，应该怎么做呢？

此外，对于DataMining和MachineLearing的孩子们，还想分个词，啊啊啊是不是好烦的感觉？

0x01 环境准备

结巴分词

Github Source

Python 2.x 下的安装

全自动安装：easy_install jieba 或者 pip install jieba

半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行

python setup.py install

手动安装：将jieba目录放置于当前目录或者site-packages目录

通过import jieba 来引用 （第一次import时需要构建Trie树，需要几秒时间）

Python 3.x 下的安装

https://github.com/fxsjy/jieba/tree/jieba3k

Git方式如下：

$ git clone https://github.com/fxsjy/jieba.git $ git checkout jieba3k
$ python setup.py install

【Update】 代码对 Python 2/3 均兼容

全自动安装：

easy_install jieba

或者

pip install jieba

/

pip3 install jieba

半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行

python setup.py install

手动安装：将

jieba

目录放置于当前目录或者

site-packages

目录

通过

import jieba

来引用

Sumup:

仔细想想……似乎就算准备好了（啊当然你要解析json你肯定得有json库对不对，然后别跟我说你没装好python啊……这些理所当然的东西我都不会算在环境配置里的哦）

0x02 代码及使用说明

分词类：Wordseg.py

import os
import sys
import jieba

def Path_make_corpus(dirname):
corpus = ""
if os.path.isdir(dirname):
filenames = os.listdir(dirname)
for filename in filenames:
f = open(dirname + '/' + filename, 'r')
f_content = f.read()
f_content = ' '.join(f_content.split())
if f_content != ' ' and f_content != '\n' and f_content != '':
words_seg = jieba.lcut(f_content)
for i in range(len(words_seg)):
words_seg[i] = words_seg[i].encode('utf-8')
corpus = ' '.join(words_seg)
f.close()
return corpus

def File_make_corpus(filename):
corpus = ""
if os.path.isfile(filename):
f = open(filename,'r')
contents = f.readlines()
for i in range(len(contents)):
f_content = contents[i]
if f_content != ' ' or f_content != '\n' or f_content != '':
words_seg = jieba.lcut(f_content)
for j in range(len(words_seg)):
words_seg[j] = words_seg[j].encode('utf-8')
corpus = ' '.join(words_seg)
f.close()
return corpus

def String_make_corpus(text):
corpus = ""
if isinstance(text, basestring):
words_seg = jieba.lcut(text)
for i in range(len(words_seg)):
words_seg[i] = words_seg[i].encode('utf-8')
corpus = ' '.join(words_seg)
return corpus

Path_make_corpus(dirname)

：传入包含所有文件名的文本路径进行分词

File_make_corpus(filename)

：传入待分词文件的名称进行分词

String_make_corpus(text)

：传入字符串进行分词

主函数：Solve.py

#-*- coding: gbk -*-
import os
import sys
import json
import Wordseg

filename = "ReportList"
page = [line.strip() for line in file(filename)]
WriteX = open("Data_Label","a")
for each in page:
contents = json.loads(each)
url = contents['url'].encode('utf-8')
label = contents['rank'].encode('utf-8')
title = contents['title'].encode('utf-8')
corpuX = Wordseg.String_make_corpus(contents['Maintext'].encode('utf-8'))
WriteX.write(url + '\t' + label + '\t' + title + '\t' + corpuX + '\n')

filename = “

输入文件名

”

WriteX = open(“

输出文件名

“, “a”)

两个文件放于同一文件夹中，python运行主函数即可。

这只是一个简单的例子，其他延伸和衍生的用法可以自行挖掘，祝数据挖掘愉快。