Pyhton科学计算工具Pandas(六)—— 文本数据处理
2018-03-26 23:08
696 查看
Pyhton科学计算工具Pandas(六)—— 文本数据处理
Pandas针对字符串配备的一套方法,使其易于对数组的每个元素进行操作字符串的常用方法
字符计数,自动排除丢失/NA值
# 通过str访问,且自动排除丢失/ NA值 s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj']) df = pd.DataFrame({'key1':list('abcdef'), 'key2':['hee','fv','w','hija','123',np.nan]}) print(s) print(df) print('-----') print(s.str.count('b'))
0 A 1 b 2 C 3 bbhello 4 123 5 NaN 6 hj dtype: object key1 key2 0 a hee 1 b fv 2 c w 3 d hija 4 e 123 5 f NaN ----- 0 0.0 1 1.0 2 0.0 3 2.0 4 0.0 5 NaN 6 0.0 dtype: float64
字符串大小写
s = pd.Series(['A','asd','123',np.nan]) print(s) print 4000 ('-----') print(s.str.lower(),'→ lower小写\n') print(s.str.upper(),'→ upper大写\n') # NAN 直接忽略
0 A 1 asd 2 123 3 NaN dtype: object ----- 0 a 1 asd 2 123 3 NaN dtype: object → lower小写 0 A 1 ASD 2 123 3 NaN dtype: object → upper大写
字符串长度及起止判断
s = pd.Series(['A','b','bbhello','123',np.nan]) print(s) print('-----') print(s.str.len(),'→ len字符长度\n') print(s.str.startswith('b'),'→ 判断起始是否为a\n') print(s.str.endswith('3'),'→ 判断结束是否为3\n')
0 A 1 b 2 bbhello 3 123 4 NaN dtype: object ----- 0 1.0 1 1.0 2 7.0 3 3.0 4 NaN dtype: float64 → len字符长度 0 False 1 True 2 True 3 False 4 NaN dtype: object → 判断起始是否为a 0 False 1 False 2 False 3 True 4 NaN dtype: object → 判断结束是否为3
字符串删除空格
.strip() 删除两端的空格.lstrip() 删除左边的空格
.rstrip() 删除右边的空格
#删除字符串中的空格 .strip() , .lstrip() , .rstrip() s = pd.Series([' jack', 'jill ', ' jesse ', 'frank']) df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '], index=range(3)) print(s) print(df) print('-----') print(s.str.strip().values) # 去除字符串中的空格 print(s.str.lstrip().values) # 去除字符串中的左空格 print(s.str.rstrip().values) # 去除字符串中的右空格 print('-----') df.columns = df.columns.str.strip() print(df) # 这里去掉了columns的前后空格,但没有去掉中间空格
0 jack 1 jill 2 jesse 3 frank dtype: object Column A Column B 0 0.807158 -0.759207 1 -0.380771 -0.816461 2 0.160034 1.014544 ----- ['jack' 'jill' 'jesse' 'frank'] ['jack' 'jill ' 'jesse ' 'frank'] [' jack' 'jill' ' jesse' 'frank'] ----- Column A Column B 0 0.807158 -0.759207 1 -0.380771 -0.816461 2 0.160034 1.014544
字符串的替换
# 字符串常用方法(3) - replace df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '], index=range(3)) df.columns = df.columns.str.replace(' ','-') print(df) # 替换 df.columns = df.columns.str.replace('-','¥',n=2) print(df) # n:替换个数
-Column-A- -Column-B- 0 1.097967 0.017149 1 -0.079448 0.603613 2 -0.205197 0.654724 ¥Column¥A- ¥Column¥B- 0 1.097967 0.017149 1 -0.079448 0.603613 2 -0.205197 0.654724
字符串的拆分
#字符串常用方法(4) - split、rsplit s = pd.Series(['a,b,c','1,2,3',['a,,,c'],np.nan]) print(s) print('-----') print(s.str.split(',')) # 拆分后返回一个list print('----') print(s.str.split(',')[0]) print(s.str.split(',').str.get(1)) print('-----') # 可以使用get或[]符号访问拆分列表中的元素 print(s.str.split(',', expand=True)) print(s.str.split(',', expand=True, n = 1)) print(s.str.rsplit(',', expand=True, n = 1)) print('-----') # 可以使用expand可以轻松扩展此操作以返回DataFrame # n参数限制分割数 # rsplit类似于split,反向工作,即从字符串的末尾到字符串的开头 df = pd.DataFrame({'key1':['a,b,c','1,2,3',[':,., ']], 'key2':['a-b-c','1-2-3',[':-.- ']]}) print(df['key2'].str.split('-')) # Dataframe使用split
0 a,b,c 1 1,2,3 2 [a,,,c] 3 NaN dtype: object ----- 0 [a, b, c] 1 [1, 2, 3] 2 NaN 3 NaN dtype: object ---- ['a', 'b', 'c'] 0 b 1 2 2 NaN 3 NaN dtype: object ----- 0 1 2 0 a b c 1 1 2 3 2 NaN NaN NaN 3 NaN NaN NaN 0 1 0 a b,c 1 1 2,3 2 NaN NaN 3 NaN NaN 0 1 0 a,b c 1 1,2 3 2 NaN NaN 3 NaN NaN ----- 0 [a, b, c] 1 [1, 2, 3] 2 NaN Name: key2, dtype: object
字符串索引
# 字符串索引 s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj']) df = pd.DataFrame({'key1':list('abcdef'), 'key2':['hee','fv','w','hija','123',np.nan]}) print(s.str[0]) # 取第一个字符串 print(s.str[:2]) # 取前两个字符串 print(df['key2'].str[0]) # str之后和字符串本身索引方式相同
相关文章推荐
- Pyhton科学计算工具Pandas(九)—— 数据分组
- Pyhton科学计算工具pandas(一)—— Series 数据结构
- Pyhton科学计算工具Pandas(七)—— 数据的合并,连接与修补
- Pyhton科学计算工具Pandas(八)—— 数据的去重及替换
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python的网页爬虫&文本处理&科学计&机器学习&数据挖掘工具集
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Pyhton科学计算工具Pandas(五)—— 常用的数值计算和统计方法
- Python 网页爬虫、 文本处理、 科学计算 、机器学习、数据挖掘 兵器谱
- Python的网页爬虫&文本处理&科学计&机器学习&数据挖掘工具集
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python的网页爬虫&文本处理&科学计&机器学习&数据挖掘工具集
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
- Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱