利用Python读取json数据并求数据平均值
2015-01-07 11:48
736 查看
要做的事情:一共十二个月的json数据(即12个json文件),json数据的一个单元如下所示。读取这些数据,并求取各个(100多个)城市年、季度平均值。
{
"time_point": "2014-01",
"area": "***",
"aqi": "71",
"pm2_5": "47",
"pm10": "69",
"rank": "7"
}
我通过两个步骤来实现这个事情,读取json并导入sqlite,按需要查找数据库数据并计算平均值。先导入数据库这个举动有些显得多余,但是也让数据井然有序地处理。
遍历文件夹12个json文件用os.walk。在解析了json数据(例如,j = json.load(f))后,发现这个json数据是分两层的,不过只要像dict一样索引就可以了,无非是索引两层(例如,data = j['rows'],pm25 = data[i]['pm2_5'],其中i是json单元个数遍历)。接着就导入数据库,第一部分做完。
从数据库取值然后计算倒没什么,就是取值rows = conn.execute("select ****") for row in rows 遍历一下。有一个异常不得不提,最后平均值插入表时出现了:“sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.” 在Stack Overflow找到回答:
{
"time_point": "2014-01",
"area": "***",
"aqi": "71",
"pm2_5": "47",
"pm10": "69",
"rank": "7"
}
我通过两个步骤来实现这个事情,读取json并导入sqlite,按需要查找数据库数据并计算平均值。先导入数据库这个举动有些显得多余,但是也让数据井然有序地处理。
遍历文件夹12个json文件用os.walk。在解析了json数据(例如,j = json.load(f))后,发现这个json数据是分两层的,不过只要像dict一样索引就可以了,无非是索引两层(例如,data = j['rows'],pm25 = data[i]['pm2_5'],其中i是json单元个数遍历)。接着就导入数据库,第一部分做完。
从数据库取值然后计算倒没什么,就是取值rows = conn.execute("select ****") for row in rows 遍历一下。有一个异常不得不提,最后平均值插入表时出现了:“sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.” 在Stack Overflow找到回答:
connection =sqlite3.connect(...)
connection.text_factory = str。也没深究,问题解决了。涉及到中文很容易出现这个毛病。
相关文章推荐
- 利用python输出json简单数据
- javascript 利用ajax读取json数据
- python 读取单所有json数据写入mongodb(单个)
- 利用Python读取网络数据文件
- 【Python】python和json数据相互转换,json读取和写入,repr和eval()使用
- Jquery Mobile实例--利用优酷JSON接口读取视频数据
- 利用Python数据可视化工具plotly从数据库读取数据制作本地图表应用实例
- python读取JSON数据,并解决字符集不匹配问题
- python处理JSON格式数据并利用pygal绘制世界地图
- Jquery Mobile实例--利用优酷JSON接口读取视频数据
- python 从excel中读取数据转换成json字符串
- 利用ajax的getJSON读取数据时注意的问题
- python数据存储系列教程——python对象与json字符串的相互转化,json文件的存储与读取
- python+django读取json数据,同步数据库
- 读书笔记--python数据可视化--004_读取JSON数据
- python读取json文件,并将数据插入到mongodb
- unity3d学习笔记(二十)--利用JSON读取和保存游戏数据
- python利用h5py模块读取matlab中的mat文件并打印矩阵的数据类型,尺寸,数据
- 利用jquery如何从json中读取数据追加到html中
- python-从文件读取json数据写到数据库