特征工程的重构
2016-02-15 11:32
211 查看
因为历史原因,目前我们的机器学习所需要的各种特征数据是通过一个MR程序来进行数据抽取,特征转换,数据存储,数据监控等,一个MR任务承担了太多了功能,导致程序的可读性,扩展性非常差,每次增加一个数据的抽取,转换都需要修改很多代码,而且极易出错,当要适应一个新的模型所需要的新型特征转换的时候,目前的特征工程更是不能胜任。基于此,痛中思痛,下定决心重构特征工程。
首先这个特征工程的架构不是一蹴而就的,需要综合考虑各方面的需求和我们的业务发展,来使架构尽可能地具有清晰的模块化,良好的解耦性,灵活的扩展性。从数据的抽取,特征选择,特征转换,特征空间压缩,特征存储,各个机器学习算法的需求等方面全面的重构。
首先这个特征工程的架构不是一蹴而就的,需要综合考虑各方面的需求和我们的业务发展,来使架构尽可能地具有清晰的模块化,良好的解耦性,灵活的扩展性。从数据的抽取,特征选择,特征转换,特征空间压缩,特征存储,各个机器学习算法的需求等方面全面的重构。
相关文章推荐
- Qt平台下的精简版俄罗斯方块,代码80行(顺便散点分) [问题点数:40分,结帖人lxyppc]
- QQ空间的下拉放大图片
- web前端基础——初识HTML DOM编程
- Oracle数据库管理
- C#成神之路<20> C#多态继承
- Tian Ji -- The Horse Racing
- 关于xcode不同版本打开相同工程问题
- Qt做的俄罗斯方块游戏
- C/C++用QT写的五子棋源码
- phpwind < v6 版本命令执行漏洞
- HTML 属性总结
- WIFI绵羊墙搭建
- hdu2846Repository
- VirtualBox下Linux虚机扩容
- JAVA用户自定义事件监听完整例子
- 展讯7731经ZA7783转接芯片支持RGB投影仪功能总结
- tableviewcell添加多个按钮删除事件
- 『HTML5实现人工智能』小游戏《井字棋》发布,据说IQ上200才能赢【算法&代码讲解+资源打包下载】
- Linux系统如何查看版本信息
- java中的缓存技术该如何实现