02 第一份实习工作之后的三个月

these three monthes

这三个月的收获

1 phantomjs 的使用, 写了一些, 晚上收罗了一些使用案例

2 git的使用, ..现在感觉自己做的一些小东西越来越依赖于他了, 在版本控制的同时, 还能记录一些日志

3 对于毕业设计的处理, 整理spark笔记, 经过这次整理, 对他的架构有了更加深入的了解, 以前不懂的地方, 也有了一定程度的认识, 比如 [从其他的机器上面获取需要的blog的流程], 还增加了一些对于基本数据结构的分析[rdd, sparkContext, dagScheduler, taskScheduler, coarseGrainedSchedulerBackend, executorSchedulerBackend, master, worker]

4 对于HXBlog的编写, 这是一个个人播客系统, 主要难点在于并发方面, 以及一些安全的校验, 因为上一次发了一篇帖子, 但是似乎没有人来看, 所以具体其中到底还存在那些bug, 我也不知道

5 对于HXServer的编写, 这是一个servlet容器, 随着编写的完成, 完成了大概一年前的夙愿..

6 对于tomcat分析文档的整理, 这个整理大概是持续了一个月时间..[上午], 而且在做HXBlog的时候, 上午都没有花时间

7 一些源码的走读, Timer, CyclicBarrier, CountDownLatch

小东西 : 完善了crawler.jar的一些功能[中文的抓取[转义字符], 多xpath抓取, 对于资源关闭的完善], 爬取了一些小站点的资源[某电影网, 某书网站], 了解了一下其他的爬虫框架crawler4j, webcollector等等, 使了一下spark graphX的shortestPath 做了一下整个成都的公交最短路径[但是, 获取这条路径的开销是在是太大了, 就当练习了一下吧][建立映射, 建模, 构建输入], elmo小游戏, 录制gif工具[但是使用给定的图片制作gif的api可能是优化不够, 导致生成的gif非常大, 并不适合使用], 小截图工具, 使用了一下jNative, 对于transferTools的界面的优化[substance][其实 修改了一下主题, 皮肤, 看起来好多了, 这个也说明了有些时候facade并不是那么重要], 使用了一下lucene, ehcache, freemarker等等

电视剧方面 : 倚天屠龙记, 斯巴达克斯, 天下第一, 绝代双骄, 福星高照猪八戒, 小李飞刀, 少年张三丰, 武林外转, 龙门镖局等等

电影方面 : 周星驰的喜剧, 一些扯淡的电影, 一些恐怖片

游戏方面 : 热血篮球, 吉米克[这个游戏是最近才玩的, 对于初学来说挺有挑战性的], 混蛋罗 [… 感觉最近一年, 似乎没玩过其他的游戏了]

啊, 这么一看起来, 篇幅貌似不是很多啊, 不过, 我的日记却有7w个字, 大概是上一次实习的两个月的数量,,,有可能是实习的时候学到的东西比较多吧[~]….

不过 对于这一次, 我并不后悔, 也许是我这个人比较粗心, 而我感觉爬虫这个又太需要细心了, 需要找一些必需的请求头, 而且并没有太多的规律, 一般来说存在于cookie中, 前实习公司的团队, 技术氛围是非常好, 团队里面经常吐吐槽, 扯扯淡, 而且 对于这一次实习, 我还有一个深刻的体会就是, 千万不要接别人的二手项目…, 我就接了一次, 可把我苦逼惨了, 主要是将爬虫代码从js改写为java, 我本以为改写完就好了, 谁知道改写 就是相当于将这个任务转交给你了, 而且 改写的同事的思路不是那么明晰,,, 而且还有一些变版的地方需要你自己去处理, 所以 改着很头疼。。