数据处理案例,数据质量案例【2000万开房记录泄露数据处理】

1）名称错误

北京害定区世纪城晴波园：一看地址就知道，应该应该是海淀区了

北京海定区世纪城：北京海淀区

2）

全半角替换

”北京＊餐饮有限公司“改为””北京*餐饮有限公司““

3）空格替换

海淀区世纪城金源时代商务中心  C座

4）数据补齐

樊城区建华路：出现这个地址，应该加上湖北省襄阳市。

    a、做一张地区MAPPING表｛省份、市、县、镇乡｝，如果有邮编号，首先我们可以根据邮编号找到对应的地区，则匹配成功

    b、如果没有邮编号，则根据名字来匹，这种数据就要看这个区的名称是不是有多个，找到相关模式匹配成功（区分不出来的，挑出来，再想办法）

    

5）数据拆分，利于统计分析

北京市海淀区世纪城翠叠园10楼4单元：最好拆分成"北京市"，"海淀区"，"世纪城","翠叠园" ,"10楼","4单元"

6）怎么处理数据库不识别的字？

数据库不识别的字，例如"虓" 在数据库中为"?"

7）

证件类型 ：

ID代表身份证，OTH可能代表其他（other）

jz 代表什么意思呢？

找到国家规定法定证件种类｛身份证，学生证，工作证、士兵证、军官证、护照和户口本｝

8）

字段转换：时间字段的值转换成统一的时间格式。"2011-11-18 7:08:30","2011-3-30 15:03:53"  统一转换成时间格式 MySQL 中用 str_to_date(Version,'%Y-%m-%d %k:%i:%s')

9）

身份证号码补录："130203790302***"，再看一下出生日期“19790302”，则应该是"13020319790302***"。｛以前老身份证应该年用的都是两位吗？｝

10）

将邮编号为空的数据补齐：根据地址信息补还是根据身份证号前6位所映射出来的邮编。

11）

将地址列中有公司名称“海淀区世纪城金源时代商务中心****                 北京***传播有限公司”拆开成两个字段。

12）

时间字段为空的，怎么补齐这个数据？｛这个字段很关键｝

13）怎么来处理下面问题？

遇到多打了几个字，需要替换：“北京市海淀区世纪城远大园****1203号遭1“改为”“北京市海淀区世纪城远大园****1203号““

14）衍生数据（获得更加多的信息）

根据数据｛手机号、邮箱｝，搜集信息，猜测用户所在工作地，学历等等

根据生日，计算出现在年龄。

根据身份证前6位，找到身份证所在地。{这个地址更可能是老家地址}｛而地址栏的地址更可能是工作出差地址｝

根据开房时间，计算出开房时间段。｛不知道一般哪个时间段开房的人很危险，呵呵｝

根据身份证前6位找到老家的人，然后再看一下在北京开房的人，算出大概有多少人在北京开房的老乡人数。

可计算出用户开房时的年龄：开房时间-出生日期

根据所在公司，算出用户所在行业

15）找出有价值用户 ｛给用户评级等等｝