对python脚本readDataToDic脚本进行模块化拆分多个类(V1.1)
2017-07-22 14:22
453 查看
针对博文:http://blog.csdn.net/henni_719/article/details/75423284
进行相关部分的代码修改,增加一些方法,来更好的定位,抓取的json数据在内存中存放的位置,来提高性能!
主要修改的模块有两个:
getAllsrcTitle(): 获取所有srcTitle列表
getAllfocusId():获取所有focusId列表
get_srcTitle_DataDic():创建以srcTitle为键的数据字典
get_focusId_DataDic():创建以focusId为键的数据字典
优化了功能:getProDicListLen()
以上两个模块使,进行数据定位的核心功能模块,通过getProDicListLen()能获取实际获取的json数据键值对在读取的数据字典中分布的位置以及个数!通过该功能能获取,键值对所在的最小字典列表中!
进行相关部分的代码修改,增加一些方法,来更好的定位,抓取的json数据在内存中存放的位置,来提高性能!
主要修改的模块有两个:
CreatePropertyDic.py:
增加的方法如下:getAllsrcTitle(): 获取所有srcTitle列表
getAllfocusId():获取所有focusId列表
#coding=utf8 from BaseList import BaseDataList import os,logging from printData import printPropertyList ''' Author:ewang Data:2017/07/22 该模块的主要功能函数: __propertyValueList(propetryName):创建不同属性值列表 getAllServiceId():获取所有的serviceId列表 getAllsrcPage():获取所有srcPage列表 getAllsrcPageId():获取所有srcPageId列表 getAllsrcModule():获取所有srcModule列表 getAllitem(): 获取所有item列表 getAllitemId():获取所有itemId列表 getAllsrcPosition():获取所有srcPosition列表 getAllmemberType():获取所有memberType列表 getAlleventGroup():获取所有eventGroup列表 getAllalbumType():获取所有albumType列表 getAllsrcSubModule():获取所有srcSubModule列表 getAlltype():获取所有type列表 getAllfunction():获取所有function列表 getAllshareType():获取所有shareType列表 getAllsrcTitle(): 获取所有srcTitle列表 getAllfocusId():获取所有focusId列表 ''' PATH=lambda p:os.path.abspath(os.path.join( os.path.dirname(__file__), p)) logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename=PATH('../Log/readDate.log'), filemode='w') class ExceptPropertyList(BaseDataList): def __propertyValueList(self,propertyName): try: #调用readDataToList函数创建一个数据list dataList=self.readDataToList() #把数据list中的所有propertyName放入表propertyValueList中 #propertyValueList=[item[propertyName] for item in dataList if item[propertyName] ] propertyValueList=[] for item in dataList: #print propertyName if propertyName in item.keys(): if item[propertyName]: propertyValueList.append(item[propertyName]) #对propertyValueList中的数据去重,分为两步: #第一步把列表转换成集合:set(propertyValueList) #第二步:把集合转换为list:list(set(propertyValueList)) #集合和list的区别:集合中的数据是唯一性,不存在相同部分 propertyValueList=list(set(propertyValueList)) #返回serList return propertyValueList except Exception,e: logging.error("Create Property %s Value List Error: %s" %(propertyName,e)) #print "Create Property %s Value List Error: %s" %(propertyName,e) #获取所有serviceId列表 def getAllServiceId(self,): return self.__propertyValueList("serviceId") #获取所有srcPage列表 def getAllsrcPage(self): return self.__propertyValueList("srcPage") #获取所有srcPageId列表 def getAllsrcPageId(self): return self.__propertyValueList("srcPageId") #获取所有srcModule列表 def getAllsrcModule(self): return self.__propertyValueList("srcModule") #获取所有itemId列表 def getAllitem(self): return self.__propertyValueList("item") #获取所有itemId列表 def getAllitemId(self): return self.__propertyValueList("itemId") #获取所有srcPosition列表 def getAllsrcPosition(self): return self.__propertyValueList("srcPosition") #获取所有srcTitle列表 def getAllsrcTitle(self): return self.__propertyValueList("srcTitle") #获取所有memberType列表 def getAllmemberType(self): return self.__propertyValueList("memberType") #获取所有eventGroup列表 def getAlleventGroup(self): return self.__propertyValueList("eventGroup") #获取所有albumType列表 def getAllalbumType(self): return self.__propertyValueList("albumType") #获取所有srcSubModule列表 def getAllsrcSubModule(self): return self.__propertyValueList("srcSubModule") #获取所有type列表 def getAlltype(self): return self.__propertyValueList("type") #获取所有function列表 def getAllfunction(self): return self.__propertyValueList("function") #获取所有shareType列表 def getAllshareType(self): return self.__propertyValueList("shareType") #获取所有focusId列表 def getAllfocusId(self): return self.__propertyValueList("focusId") def test(): baseList=ExceptPropertyList() itemlist=baseList.getAllsrcTitle() itemIdList=baseList.getAllitemId() printPropertyList(itemlist) print printPropertyList(itemIdList) print focusIdList=baseList.getAllfocusId() printPropertyList(focusIdList) if __name__=="__main__": test()
CreatePropertyList.py
增加的方法如下:get_srcTitle_DataDic():创建以srcTitle为键的数据字典
get_focusId_DataDic():创建以focusId为键的数据字典
优化了功能:getProDicListLen()
#coding=utf8 from PropertyList import ExceptPropertyList import os,logging from printData import printDicData ''' Author:ewang Data:2017/07/22 该模块的主要功能函数: __createDataDic(properyName,propetyList):创建一个数据字典表 get_ServiceId_DataDic():创建一个数据字典表,以serviceId为key,相同的数据项列表为value get_srcPage_DataDic():创建一个数据字典表,以srcPage为key,相同的数据项列表为value get_srcPageId_DataDic():创建一个数据字典表,以srcPageId为key,相同的数据项列表为value get_srcModule_DataDic():创建一个数据字典表,以srcModule为key,相同的数据项列表为value get_item_DataDic():创建一个数据字典表,以item为key,相同的数据项列表为value get_itemId_DataDic():创建一个数据字典表,以itemId为key,相同的数据项列表为value get_srcPosition_DataDic():创建一个数据字典表,以srcPosition为key,相同的数据项列表为value get_memberType_DataDic():创建一个数据字典表,以memberType为key,相同的数据项列表为value get_eventGroup_DataDic():创建一个数据字典表,以eventGroup为key,相同的数据项列表为value get_albumType_DataDic():创建一个数据字典表,以albumType为key,相同的数据项列表为value get_srcSubModule_DataDic():创建一个数据字典表,以srcSubModule为key,相同的数据项列表为value get_type_DataDic():创建一个数据字典表,以type为key,相同的数据项列表为value get_function_DataDic():创建一个数据字典表,以function为key,相同的数据项列表为value get_shareType_DataDic():创建一个数据字典表,以shareType为key,相同的数据项列表为value get_srcTitle_DataDic():创建以srcTitle为键的数据字典 get_focusId_DataDic():创建以focusId为键的数据字典 getProDicListLen(propsDic): 输入propsDic数据,该propsDic数据是一个字典类型 ,返回一个字典类型 ''' PATH=lambda p:os.path.abspath(os.path.join( os.path.dirname(__file__), p)) logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename=PATH('../Log/readDate.log'), filemode='w') class ExceptPropertyDic(ExceptPropertyList): #创建数据字典 def __createDataDic(self,properyName,propetyList): try: #定义个数据字典变量 dataDic={} #调用函数readDataToList创建一个dataList表 dataList=self.readDataToList() #判断列表中是否有元素,如果有执行if语句 if len(propetyList)>0 and len(dataList)>0: #对propetyList进行循环,以property作为key for Property in propetyList: #创建一个list用来存放Property相同的数据项 samePropertyJosnList=[] #对数据列表执行循环 for item in dataList: #获取字典中键为Property值,放入变量中 if properyName in item.keys(): itemProperyName=item[properyName] #如果值不为空,执行if语句 if itemProperyName: #判断Property与数据项中itemProperyName的值是否相等 #如果相等执行if语句块 if Property==itemProperyName: #把数据项加入samePropertyJosnList列表中 samePropertyJosnList.append(item) else: logging.debug("Property is null") #给字典赋值,以Property作为key, #Property相同的数据项列表作为值 dataDic[Property]=samePropertyJosnList else: logging.debug("Property List or dataList is null") #返回字典类型的数据 return dataDic except Exception,e: logging.error("Create %s Data Dictionary Error:%s" %(properyName,e)) #创建以serviceId为键的数据字典 def get_serviceId_DataDic(self): try: servicIdList=self.getAllServiceId() return self.__createDataDic("serviceId", servicIdList) except Exception,e: logging.debug("create serviceId data dictionary:"+e) #创建以srcPage为键的数据字典 def get_srcPage_DataDic(self): try: srcPageList=self.getAllsrcPage() return self.__createDataDic("srcPage", srcPageList) except Exception,e: print "create srcPage data dictionary:",e #创建以srcPageId为键的数据字典 def get_srcPageId_DataDic(self): try: srcPageIdList=self.getAllsrcPageId() return self.__createDataDic("srcPageId", srcPageIdList) except Exception,e: logging.debug("create srcPageId data dictionary:"+e) #创建以srcModule为键的数据字典 def get_srcModule_DataDic(self): try: srcModuleList=self.getAllsrcModule() return self.__createDataDic("srcModule", srcModuleList) except Exception,e: logging.debug("create srcModule data dictionary:"+e) #创建以item为键的数据字典 def get_item_DataDic(self): try: itemList=self.getAllitem() return self.__createDataDic("item", itemList) except Exception,e: logging.debug("create item data dictionary:"+e) #创建以itemId为键的数据字典 def get_itemId_DataDic(self): try: itemIdList=self.getAllitemId() return self.__createDataDic("itemId", itemIdList) except Exception,e: logging.debug("create itemId data dictionary:"+e) #创建以srcPosition为键的数据字典 def get_srcPosition_DataDic(self): try: srcPositionList=self.getAllsrcPosition() if len(srcPositionList)>0: return self.__createDataDic("srcPosition", srcPositionList) except Exception,e: logging.debug("create srcPosition data dictionary:"+e) #创建以memberType为键的数据字典 def get_memberType_DataDic(self): try: memberTypeList=self.getAllmemberType() return self.__createDataDic("memberType", memberTypeList) except Exception,e: logging.debug("create memberType data dictionary:"+e) #创建以eventGroup为键的数据字典 def get_eventGroup_DataDic(self): try: eventGroupList=self.getAlleventGroup() return self.__createDataDic("eventGroup", eventGroupList) except Exception,e: logging.debug("create eventGroup data dictionary:"+e) #创建以srcTitle为键的数据字典 def get_srcTitle_DataDic(self): try: srcTitleList=self.getAllsrcTitle() return self.__createDataDic("srcTitle", srcTitleList) except Exception,e: logging.debug("create srcTitle data dictionary:"+e) #创建以albumType为键的数据字典 def get_albumType_DataDic(self): try: albumTypeList=self.getAllalbumType() return self.__createDataDic("albumType", albumTypeList) except Exception,e: logging.debug("create albumType data dictionary:"+e) #创建以srcSubModule为键的数据字典 def get_srcSubModule_DataDic(self): try: srcSubModuleList=self.getAllsrcSubModule() return self.__createDataDic("srcSubModule", srcSubModuleList) except Exception,e: logging.debug("create srcSubModule data dictionary:"+e) #创建以type为键的数据字典 def get_type_DataDic(self): try: typeList=self.getAlltype() return self.__createDataDic("type", typeList) except Exception,e: logging.debug("create type data dictionary:"+e) #创建以function为键的数据字典 def get_function_DataDic(self): try: functionList=self.getAllfunction() return self.__createDataDic("function", functionList) except Exception,e: logging.debug("create function data dictionary:"+e) #创建以shareType为键的数据字典 def get_shareType_DataDic(self): try: shareTypeList=self.getAllshareType() return self.__createDataDic("shareType", shareTypeList) except Exception,e: logging.debug("create shareType data dictionary:"+e) #创建以focusId为键的数据字典 def get_focusId_DataDic(self): try: focusIdList=self.getAllfocusId() return self.__createDataDic("focusId", focusIdList) except Exception,e: logging.debug("create focusId data dictionary:"+e) def getDicDataValue(self,PropertyValue,dataDic): try: ''' 例如:item="album" dataDic=get_item_DataDic() 使用方法是:getDicDataValue("album",dataDic) 功能:获取字典中对应键获取的值列表 ''' PropertyValue=PropertyValue.decode("utf8") if PropertyValue in dataDic.keys(): return dataDic[PropertyValue] except Exception,e: logging.error("Get %s Dic Data Error:%s"(PropertyValue,e)) #输入json数据,该json数据是一个字典类型 def getProDicListLen(self,propsDic): try: #用来存放属性值,与列表长度 propertyLenDic={} if len(propsDic)>0: for PropertyName,PropertyValue in propsDic.items(): #如果给定的字典的值是字符串类型 #则执行if语句 if isinstance(PropertyValue, str): #通过属性来创建函数字符串 creatDataDicMethod='self.get_%s_DataDic()' %PropertyName #判定属性值是否包含在所创建的方法字符串中 if creatDataDicMethod.find(PropertyName): #通过调用eval方法,把方法字符串转换成表达式 #返回由方法创建的属性值数据字典 DicName=eval(creatDataDicMethod) #判断是否为空 if len(DicName)>0 and PropertyValue: #调用方法getDicDataValue,返回键值列表 valueList=self.getDicDataValue(PropertyValue, DicName) #判断列表是否为空 if valueList: #创建键字符串 keyValue="%s:%s" %(PropertyName,PropertyValue) #把计算得来的键和键值长度放入字典 propertyLenDic[keyValue]= (len(valueList),valueList) else: logging.error("The length of ValueList little 0") else: logging.error("The length of DicName little 0 and PropertyValue is Null") else: logging.error("The length of propsDic little 0") return propertyLenDic except Exception,e: logging.error("Get Property Dic List Length Error:%s"%e) def test(): propsDic={ 'itemId' : 96975, 'item' : 'track' , 'serviceId' : 'pageview' , 'srcSubModule' : '声音条' , 'srcPosition' : 'XX ', 'srcPage' : '发现_推荐' , 'srcPageId' : 'XX' , 'srcModule' : '焦点图', 'srcTitle' : '焦点图标题' , 'focusId' : '焦点图ID' , } dataDic=ExceptPropertyDic() itemDic=dataDic.get_itemId_DataDic() #valueList=dataDic.getDicDataValue('XX' , itemDic) prolenDic=dataDic.getProDicListLen(propsDic) for key,value in prolenDic.items(): print key.decode("utf8"),":",value print printDicData(itemDic) if __name__=="__main__": test()
以上两个模块使,进行数据定位的核心功能模块,通过getProDicListLen()能获取实际获取的json数据键值对在读取的数据字典中分布的位置以及个数!通过该功能能获取,键值对所在的最小字典列表中!
相关文章推荐
- 对python脚本readDataToDic脚本进行模块化拆分多个类(V1.0)
- 对python脚本readDataToDic脚本进行模块化拆分多个类(V1.0)
- 对python脚本readDataToDic脚本进行模块化拆分多个类(V1.2)
- python把csv数据做成列表、字典类型的数据进行存储脚本(readDataToDic_V2.2)
- python把csv数据做成列表、字典类型的数据进行存储脚本(readDataToDic_V2.2)
- 使用rdb文件进行redis数据迁移--python脚本
- 在arcgis使用python脚本进行字段计算时是如何解决中文问题的
- Python脚本进行游戏专区拉新方面的计算案例
- Android——使用Python脚本进行多渠道打包-秒打100个包!
- 【脚本语言系列】关于Python数据库访问ActiveXDataObject,你需要知道的事
- python实现多线程post方法进行压测脚本模板
- 写python脚本进行abaqus建模,抄某指导书中的一个简单的悬臂梁代码
- Python进行主播收入统计的脚本
- 在arcgis使用python脚本进行字段计算时是如何解决中文问题的
- sqlserver数据导入mysql五:多线程导数据脚本(读取前面拆分的表名进行数据导入)
- DB2字符串按照指定符号进行拆分成多个字段的实现方式
- Python:dataframe.to_sql和dataframe.read_sql
- 设置参数进行启动的Python脚本模板
- python获取加拿大国家日平均汇率比数据的脚本DataMake.py
- Python模拟浏览器上传文件脚本(Multipart/form-data格式)