您的位置:首页 > 大数据 > 人工智能

我的AI转型之路与AI之我见(非985211的奋斗路程与视角)

2017-07-18 13:50 435 查看

前言



我是一名传统网页(PHP+ruby)和应用开发(Android)转型AI相关开发的码农。在非985211高校出身的情况下,我前期自己买书学习,到现在考研上课全身心的投入智能系统的开发当中来,在算法当中理解了数据和模型,对一些基本问题的解决和现在社会上的环境风气有自己的看法,在这里不吐不快,和大家分享一下。

对于人工智能的入门和基础理解我有一篇综述的博客文章,手把手的入门机器学习的”Hello
World“,有5个基础开发实例,方便理解整个开发的过程。

数据分析入门:Weka的使用(只要四步,不会编码也可以做机器学习与数据分析)
机器学习的“Hello World” MNIST手写字体识别(用SVM支持向量机算法)
Iris花数据集分析
支持向量机(SVM)人脸识别
多层感知机识别MNIST手写字体识
详细内容,有兴趣的同学请点击下面的链接。

(0)【机器学习】机器学习综述与“Hello World”实战(附带5个实例) http://blog.csdn.net/sileixinhua/article/details/73611056
也抽空做了2个小项目与大家分享。

新闻分类系统(Python):爬虫(bs+rq)+数据处理(jieba分词)+分类器(贝叶斯)
http://blog.csdn.net/sileixinhua/article/details/74943336
谣言识别系统(Python):爬虫(bs+rq)+数据处理(jieba分词)+分类器(贝叶斯)
http://blog.csdn.net/sileixinhua/article/details/75091365

<
f7f5
a name="t1">我的吐槽



人人都是机器学习工程师

现在人工智能无论是在校园里还是在工作当中,无论是在国内还是国外,都是十分火热的话题。现在在高校校园里,计算机专业,电子工程专业,自动化专业,机械专业,土木工程专业等等工科,理科,甚至新闻与传播专业等,只要手里有数据的专业,基本都有人工智能,机器学习等相关的话题。

不但在中国,美国,就连在日本,我在参观高压电专业实验室的同学都在用SVM预测地区高压电用电量估计,用蚁群算法来为高压电传输塔的建立做最合理的规划。自动化同学实验室再用决策树做图像识别,做机器人智能抓取。生物医学实验室的同学在用聚类分析DNA的基因序列。电子实验室的同学用回归分析电路板的检修,和用深度神经网络开发智能汽车。而且这不是在最好的帝国大学,这只是在世界排名800的普通工科院校。在入学的时候,校长在发表讲话,我比较激动,因为校长通篇的演讲都是在说“現在は人工知能の時代になりました。皆さんは人工知能の知識を勉強しでください。”就是“现在是人工智能的时代,请大家学习一下人工智能的知识。”就连普通上课最后同学们查询资料,发表这个课程相关论文的学习内容时,很多同学都是结合这门课和机器学习的分析方法,解决原来计算条件有限下难以解决的问题。

十几年前,机器学习还只是世界顶尖大学的玩物,现在所有的高校里都有相关的学习与研究,应用在各行各业当中。从原来的博士专业中独享,到现在的普及到硕士专业,以后大批本科生毕业也可以从事人工智能,数据分析相关的开发。现在大批的研究生开始学习机器学习算法, 研究在各种场景环境下的带入应用,不再去做网页,写EPR系统,开发APP,而是转向数据分析,图像识别,自然语言处理,神经网络等等。

在京东图书当中,周志华的《机器学习》评论数为8700+,而php卖的最多的《PHP从入门到精通》只有评价数6100+,郭霖的《第一行代码

android》的评论数为1.4万+。由此可见不远的将来大家可能会从原来的PHP是最好的语言,即将变为SVM是最好的算法。

各种收费学习平台收割大学生的智商税

近几年知识收费成了各大网站的又一突破点,有良好师资的网站不断推出新的,符合市场定位的技术视频,并收取学员一些学费。可是现在有很多平台把市面上的书籍网络上的代码一抄,模模糊糊的讲解一下就敢收费400,500,甚至上千元的收费,这和11年安卓的培训市场上是如出一辙。这年头各种牛鬼蛇神,牛头马面都敢出来当老师,开班授课,市场一片混乱,不少刚出社会或者刚进大学的同学都被这个人收了智商税,希望大家应以为戒。现在世面上这么多的书籍与各种好的原创视频,知识点解读,论文分享的好公众号,希望大家不要再上当了,在掏钱的时候好好观察,这个是交了智商税还是真交了学费。

学会信息检索 + 合理利用资源

现在国内的视频网站上并没有多少好的人工智能教学的相关视频,但是油管上有成千上万的好的视频,从知识点的讲解,论文的解读,具体应用的手把手的代码教学,嗾使十分丰富的。具体的推荐请看下面书籍,公众号,视频的推荐。

很多同学找不到学习资料和视频资源。其实,信息检索也是一门学科,我在大学期间选修过这门课,后来我想这就是数据分析的第一步,数据收集。在这里我推荐大家加入我的群,群里都是一群新手,也包括我,都是想依靠技术让自己生活变的更好的一群人,群里不定期更新PDF书籍资源,现在已经有2.71GB,234本书了,可以让大家节约时间,少走一些弯路。QQ群号:657119450。

为什么要学习AI

AI开发与传统软件工程,互联网应用开发相比较区别有哪些

传统软件工程,互联网应用开发主要是依靠开发语言和开发工具,重点学习一些算法和数据结构,库,框架。AI开发则有自己相关的库和框架,更多是学习机器学习的相关算法与对算法的优化,重点是把算法和模型应用到实际的问题当中,从不同的环境场景下提取数据,处理数据,分析数据的能力。

AI开发与传统软件工程,互联网应用开发相融合

互联网网站开发的都在做精准推荐,电子相关的都在做图像识别和处理,让计算机能具有”看“的能力,APP开发的在用机器学习来开发智能应用,语音输入法等。现在智能系统是解放生产力又一大有效的方案,现在不断有更多更好更新奇的应用被开发出来,提高了工作效率,降低了生产成本。

所以,作为传统开发和AI开发其实真正的区别并不大,无论是现在还是未来,好的传统开发是必须要会AI相关算法与技术应用到自己的项目当中,而好的AI开发是要会传统开发的技术,来实现自己的算法模型,解决实际问题的,所以两者是相辅相成的关系,互相离不开的。

未来AI的发展机遇

AI的开发工作机会分析



我从五月份开始关注拉钩网,春季刚开始的时候还没有机器学习,深度学习,自然语言处理,图像处理,数据挖掘,精准推荐的分类,现在在工作岗位分类中,都有人工智能这一大类了。可见现在人工智能相关的工作十分火热并工程师紧缺。

7月14日,人民日报报道了《中国人工智能人才缺口超500万,供求比例仅为1:10》一文,文章中说到。

一位数据挖掘高级工程师,在关闭招聘网站自己简历的情况下,每个月仍会收到4到5个猎头的电话,游说他去其它公司。现在以人工智能算法开发工程师为例,该职位少则月薪1万、2万,多则年薪百万。不像其它行业占据职业高薪榜的是高级管理人才,在人工智能领域中,技术类工程师拿的是最高薪。李开复说过“在硅谷,做深度学习的人工智能博士生,现在一毕业就能拿到年薪200万到300万美元的录用通知,三大公司(谷歌、脸书和微软)都在用不合理的价钱挖人”。最近领英发布的《全球AI领域人才报告》显示,到2017年一季度为止,领英平台上的全球AI(人工智能)领域技术人才数量超过190万,其中美国相关人才总数超过85万,高居榜首,而中国的相关人才总数也超过5万人,位居全球第七。

目前国家要产业转型改革,同时也强调产业升级的重要性,互联网行业中最稀缺的就是人工智能人才。现在国内的供求比例仅为1:10,供需严重失衡。工信部教育考试中心也曾在2016年向媒体透露,中国人工智能人才缺口超过500万人。目前国内外企业均把人工智能看成下一个变革的主要力量。AI技术人才,则是主导这一变革的中流砥柱。人工智能的竞争说到底是对人才的竞争,因此出现了各大互联网企业高薪挖人的现象。《全球AI领域人才报告》显示,美国已成中国AI人才最大回流来源,中国拥有海外工作经历的AI技术人才有43.9%来自美国。华人人才的持续回流,将加快缩短中国与美国等国家的技术差距。

由以上可知,现在加入到AI的开发中开正是大好时机。

现在AI开发工作的市场需求

现在市场上人工智能开发多是在研究生博士生居多,本科生并不是很受欢迎,本科生在本科阶段绝大部分是没有研究的,专业课的学习为主,自己喜欢的开发相关学习为辅,的确时间上并不是十分充裕,所以研究生和博士生现在受到市场的欢迎。基本上都是统计学、应用数学、计算机等相关专业,硕士及以上学历,具有优秀的数据结构和算法设计能力,能将算法实现为代码,至少熟悉一种大数据处理的编程语言(R、PythonJavaGo、Perl、Ruby、SPSS等),熟悉大规模信息处理与分布式计算等相关技术,较强的数据敏感度,逻辑分析能力和文档写作能力,

数据挖掘,搜索算法,精准推荐,深度学习,机器学习,图像处理,图像识别,语音识别,机器视觉,算法工程师,自然语言处理等方向现在十分火热。多数企业招不到合适的人员。

AI开发工作应该拥有哪些技术

开发语言多数以R、Python、JAVA为主。
将算法转换为代码的能力,即编码能力,这方面想提高除了多看多写,别无他法。
熟悉opencv,sklearn,tensorflow,caffe,Spark,keras,pyTouch等开发库,没必要全会,但是要有熟练的一个或几个。
大规模信息处理与分布式计算,开发环境搭建与优化,算法的调参与优化。
文档书写,团队人员的交流能力。
分析问题,分析数据,带入算法和模型到实际场景应用的能力。



我与AI的初次相遇

12年第一次接触机器学习

12年我第一次接触机器学习,当时进了实验室大家还不说机器学习,都是说数据挖掘,做了一个垃圾邮件处理的问题,当时并没有完成。之后就一直没有做这方面工作,一直做的是网站开发和APP开发。那时候是以java开发为主,学习python当中。由于没有什么书籍,网上博客也不全,代码也是残缺错误,所以那时候学习数据挖掘进度缓慢,没有什么成就感,没有网站开发和APP开发带来的成就感大,所以也就主要是做开发写代码为主。

16年断断续续的学习

由于在日本考学校要考试,还要写研究计划书,所以重新开始机器学习算法的学习,没有做什么实际的应用,只是单纯的推导公式,学习算法。做了一个根据网页信息对网页进行分类的应用,写成了研究计划书。多是看视频,看博客为主,书籍也是《机器学习实战》一本翻了很多次。

17年开始全身心的投入学习

修士(对应国内研究生)入学之后,开始全面系统的学习。没有什么特别的经过,就是不断看书,写代码实现,看论文,写博客记录。日本学生人人都写研究记录,我也开始写博客记录我的学习经过。每周都有和老师研究进度报告,和实验室研究会议,当前的研究进度的说明,发现了什么问题,怎么解决的。还有用《Python Machine Learning》,每人每周讲解一章,实验室人不多,算上我和两个前辈就3人,但是这个人工智能实验室在上世纪80年代就有了,算是历史不短吧。

现在国内市场上的人工智能相关书籍也开始慢慢多了起来,但是还是有老问题,有的书籍互相重复内容太多,有的书籍单纯是官网简介和demo代码的翻译,多数质量并不是很高,导致我现在看中文书预习,看日语书学习,看英语书复习,日本关于机器学习相关的书写的相当详细,理解起来也简单,中文书多数是翻译英文版的书籍,而我英语不是十分的好,看英语书向来要花点时间。

我学习AI的方法

看书,代码,分享的循环

学习的过程就是枯燥的,不停的看书,写代码实现,没别的方法了。找数据,找项目,找问题决解,锻炼自己解决实际场景问题的能力。然后最好写成博客分享给大家,对自己未来找工作,还是交接志同道合的朋友都有好处。

有的同学一上来就看代码,算法的原理和数学公式的体现不会是看不懂代码的,所以要先看书,从书上的例子一点点做起,还有部分同学基础的开发和数据结构不是很擅长,也要先补习一下这方面的内容才可以,总之基础的确很重要,万丈高楼没有地基的确是不行的。

书籍推荐

《机器学习实战》

《自然语言处理原理与实现》

《机器学习》

《统计学习方法》

《支持向量机导论》

《统计自然语言处理(宗成庆)》

《深度学习》

《模式识别-第二版(西奥多里蒂斯 著,李晶皎译)》

《驾驭文本 文本的发现、组织和处理_》

《Python Machine Learning》

《Advanced Machine Learning with Python 》

《MATLAB智能算法30个案例分析》

《人工智能 一种现代的方法(第3版)》

《统计学习基础 数据挖掘、推理与预测》

《凸优化》

等等经典书籍,啊,你要问这个书籍哪有下载,请加群免费下载2.71GB,234本PDF书籍,群号:657119450。

公众号推荐

大数据文摘 : 每日大数据新闻推送。

机器之心 : 每日机器学习新闻推送。

PaperWeekly : 每日推荐论文推送并解读。

量子位 : 人工智能新闻每晚推送。

微博推荐

爱可可-爱生活 每日多次不停的推荐论文,库,等等人工智能相关信息。(唯一重磅推荐)

视频推荐

周莫烦 (油管): https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcg
周莫烦 (优酷): http://i.youku.com/i/UMTYyNjI2NDYw?spm=a2h0j.8191423.subscription_wrap.DD~A
Stanford University School of Engineering : https://www.youtube.com/user/stanfordeng
吴恩达机器学习 (油管): https://www.youtube.com/watch?v=UzxYlbK2c7E&list=PLA89DCFA6ADACE599
吴恩达机器学习 (网易公开课): http://open.163.com/special/opencourse/machinelearning.html
加州理工学院公开课:机器学习与数据挖掘 : http://open.163.com/special/opencourse/learningfromdata.html
Udacity : https://www.youtube.com/user/Udacity
edureka! : https://www.youtube.com/user/edurekaIN
sentdex : https://www.youtube.com/user/sentdex 推荐看用深度学习做GTA5的汽车自动驾驶



Siraj Raval : https://www.youtube.com/channel/UCWN3xxRkmTPmbKwht9FuE5A 强力推荐,这个视频博主有各种手把手教学的视频,比如音乐合成等。

论文网站推荐

jmlr : http://jmlr.org/papers/

nips : https://papers.nips.cc/

arxiv : https://arxiv.org/corr/home
gitxiv : http://www.gitxiv.com/

reddit : https://www.reddit.com/r/MachineLearning/
arxiv-sanity : http://www.arxiv-sanity.com/

我写AI博客的想法

我的现在水平只能写写博客,把自己学习到的东西免费和大家分享一下,肯定有我理解错误或者不完全的地方,和大家交流,解决问题是我的初衷,结实更多相关从业人员也是好处,我把一年的课都选在半年内上完,在我还有一年半校园生涯的时间里我会坚持更新博客,提高写作表达能力,但是毕业之后估计就没那么多时间了吧,谢谢大家对我的支持与鼓励,大家共同进步吧。

未来中国需要大量的掌握人工智能技术的工程师,在各行各业中穿插交流更具具体场景开发,很多同学英语不好,编码能力不好,开发经验不足,我希望通过我的一点绵薄之力帮助更多的同学入门人工智能技术,如果大家都这样想就好了。

感想

现在就想多看书,多看论文,然后自己实践解决一些实际的问题。已经制定了详细的计划,希望可以坚持下去。

——————————————————————————————————-
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: