python判断unicode是否是汉字,数字,英文,或者其他字符
2010-07-22 14:19
330 查看
下面这个小工具包含了
判断unicode是否是汉字,数字,英文,或者其他字符。 全角符号转半角符号。 unicode字符串归一化等工作。
还有一个能处理多音字的汉字转拼音的程序,还在整理中。
判断unicode是否是汉字,数字,英文,或者其他字符。 全角符号转半角符号。 unicode字符串归一化等工作。
还有一个能处理多音字的汉字转拼音的程序,还在整理中。
#!/usr/bin/env python # -*- coding:GBK -*- """汉字处理的工具: 判断unicode是否是汉字,数字,英文,或者其他字符。 全角符号转半角符号。""" __author__="internetsweeper <zhengbin0713@gmail.com>" __date__="2007-08-04" def is_chinese(uchar): """判断一个unicode是否是汉字""" if uchar >= u'/u4e00' and uchar<=u'/u9fa5': return True else: return False def is_number(uchar): """判断一个unicode是否是数字""" if uchar >= u'/u0030' and uchar<=u'/u0039': return True else: return False def is_alphabet(uchar): """判断一个unicode是否是英文字母""" if (uchar >= u'/u0041' and uchar<=u'/u005a') or (uchar >= u'/u0061' and uchar<=u'/u007a'): return True else: return False def is_other(uchar): """判断是否非汉字,数字和英文字符""" if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)): return True else: return False def B2Q(uchar): """半角转全角""" inside_code=ord(uchar) if inside_code<0x0020 or inside_code>0x7e: #不是半角字符就返回原来的字符 return uchar if inside_code==0x0020: #除了空格其他的全角半角的公式为:半角=全角-0xfee0 inside_code=0x3000 else: inside_code+=0xfee0 return unichr(inside_code) def Q2B(uchar): """全角转半角""" inside_code=ord(uchar) if inside_code==0x3000: inside_code=0x0020 else: inside_code-=0xfee0 if inside_code<0x0020 or inside_code>0x7e: #转完之后不是半角字符返回原来的字符 return uchar return unichr(inside_code) def stringQ2B(ustring): """把字符串全角转半角""" return "".join([Q2B(uchar) for uchar in ustring]) def uniform(ustring): """格式化字符串,完成全角转半角,大写转小写的工作""" return stringQ2B(ustring).lower() def string2List(ustring): """将ustring按照中文,字母,数字分开""" retList=[] utmp=[] for uchar in ustring: if is_other(uchar): if len(utmp)==0: continue else: retList.append("".join(utmp)) utmp=[] else: utmp.append(uchar) if len(utmp)!=0: retList.append("".join(utmp)) return retList if __name__=="__main__": #test Q2B and B2Q for i in range(0x0020,0x007F): print Q2B(B2Q(unichr(i))),B2Q(unichr(i)) #test uniform ustring=u'中国 人名a高频A' ustring=uniform(ustring) ret=string2List(ustring) print ret
相关文章推荐
- python判断unicode是否是汉字,数字,英文,或者其他字符
- python判断unicode是否是汉字,数字,英文,或者其他字符
- python判断unicode是否是汉字,数字,英文,或者其他字符
- python判断unicode是否是汉字,数字,英文,或者其他字符
- python判断unicode是否是汉字,数字,英文,或者其他字符
- python判断unicode是否是汉字,数字,英文,或者其他字符
- Python判断unicode是汉字,数字,英文,或者其他字符
- 如何判断一个字符串是否仅由数字or仅由数字英文字符or仅由汉字组成
- 判断unicode是否是汉字、数字、英文
- VC判断一个UNICODE字符串中字母、数字、汉字、其他字符的个数
- php判断输入是否是纯数字,英文,汉字的方法
- java用正则表达式判断字符串中是否仅包含英文字母、数字和汉字
- paip.判断字符是否中文与以及判读是否是汉字uapi python java php
- java用正则表达式判断字符串中是否仅包含英文字母、数字和汉字 分类: Android JAVA 2015-06-07 21:08 31人阅读 评论(0) 收藏
- java小练习:输入一个字符,判断该字符是数字?英文字母?还是其他字符
- java用正则表达式判断字符串中是否仅包含英文字母、数字和汉字
- SQL判断某列中是否包含中文字符或者英文字符
- ASP 检测字符串是否包括汉字、数字、韩文、日文,以及其他语种字符的方法
- 正则匹配内容是否含有除汉字数字英文以外的字符
- paip.判断字符是否中文与以及判读是否是汉字uapi python java php