【百度训练营】python小白逆袭大神 day5心得
2020-05-08 04:17
846 查看
今天老师介绍了easyDL,真的很easy,上传图片,在线标注,一键自动训练。整个人工智能全部流程,在easyDL上全部搞定,而且,几乎0代码实现。对于非计算机专业非常友好。真正把人工智能工具化,让更多人能够利用人工智能提高效率。
而今天的练习,是对爱奇艺《青春有你2》评论的数据分析并可视化,并且进行评论违规检测。难度比较大。
抓取数据就是爬虫,比较简单。
之后要清除评论中的emoji还有其他的奇怪的符号,分析的时候才不会报错。之后用jieba进行分词,以及词频分析,并绘制词云。这里遇到不少,比如“停用词”之前就没听说过,一通猛搜之后,总算搞定。
说说遇到的坑吧,
matplotlib不支持中文,之前的练习中用过matplotlib,但是那次是老师已经配置好的环境,我们直接用就行了,这次怎么都无法显示中文,查了很多,与群里的小伙伴交流,最后才搞定
!cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/ # 一般只需要将字体文件复制到系统字体目录下即可,但是在aistudio上该路径没有写权限,所以此方法不能用 # !cp simhei.ttf /usr/share/fonts/ # 创建系统字体文件路径 !mkdir .fonts # 复制文件到该路径 !cp simhei.ttf .fonts/ !rm -rf .cache/matplotlib #在使用时要加上这一句 plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体
最后是用paddlehub对评论进行违规检测
def text_detection(_comments): ''' 使用hub对评论进行内容分析 return:分析结果 ''' pd = hub.Module(name="porn_detection_lstm") input_dict = {"text": _comments} results = pd.detection(data=input_dict,use_gpu=False, batch_size=1) for i in results: print(i['text']) print(i['porn_probs'])
没错,就是这么简单,几行代码就能使用人工智能!
sinat_21902051 原创文章 6获赞 0访问量 382 关注 私信相关文章推荐
- 百度飞桨-Python小白逆袭大神-结营心得
- 百度飞桨-python小白逆袭大神7天打卡营-完结心得-Rick
- Python小白逆袭大神:百度飞桨课程结营心得
- 百度python小白逆袭大神系列课程day5——爱奇艺《青你2》评论爬取并分析
- 百度Python小白逆袭大神7天训练营——day2
- 百度飞桨Python小白逆袭大神7天打卡-心得
- 百度飞浆Python小白逆袭大神打卡课程心得分享-《青春有你2》选手信息爬取
- 飞桨Python小白逆袭大神心得
- 百度python小白逆袭大神系列课程day4——paddlehub之《青春有你2》五人识别
- 百度python小白逆袭大神
- python小白逆袭大神打卡营--day2-爬虫实例
- Python小白逆袭大神:Day3-人工智能常用Python库+数据分析
- Python小白逆袭大神:Day2-Python进阶+爬虫基础
- Python小白逆袭大神:Day1-Python基础练习
- PaddlePaddle飞桨Python小白逆袭大神打卡营记录
- Python小白逆袭大神:Day4-《青春有你2》选手识别
- AI studio 训练分享之Python小白逆袭大神课程
- 飞桨学院-Python从小白逆袭大神-Day3-《青春有你2》选手数据分析
- 飞桨学院-Python从小白逆袭大神-DAY2-青春有你2选手信息爬取
- 飞桨深度学习学院-Python小白逆袭大神Day(5)笔记