大数据技术是什么

大数据技术是什么？

总的来说大数据有5个部分。数据采集，数据存储，数据清洗，数据挖掘，数据可视化。

数据采集有硬件采集，如OBD，有软件采集，如滴滴，淘宝。数据存储就包括NOSQL，hadoop等等。

数据清洗包括语议分析，流媒体格式化等等。

数据挖掘包括关联分析，相似度分析，距离分析，聚类分析等等。数据可视化就是WEB的了。

大数据技术的具体内容？

分布式存储计算架构（强烈推荐：Hadoop）

分布式程序设计（包含：Apache Pig或者Hive）

分布式文件系统（比如：Google GFS）

多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等）

数据收集架构（比如：Kinesis，Kafla）

集成开发环境（比如：R-Studio）

程序开发辅助工具（比如：大量的第三方开发辅助工具）

调度协调架构工具（比如：Apache Aurora）

机器学习（常用的有Apache Mahout 或 H2O）

托管管理（比如：Apache Hadoop Benchmarking）

安全管理（常用的有Gateway）

大数据系统部署（可以看下Apache Ambari）

搜索引擎架构（ 学习或者企业都建议使用Lucene搜索引擎）

多种数据库的演变（MySQL/Memcached）

商业智能（大力推荐：Jaspersoft ）

数据可视化（这个工具就很多了，可以根据实际需要来选择）

大数据处理算法（10大经典算法）

大数据中常用的分析技术？

A/B测试、关联规则挖掘、数据聚类、

数据融合和集成、遗传算法、自然语言处理、

神经网络、神经分析、优化、模式识别、

预测模型、回归、情绪分析、信号处理、

空间分析、统计、模拟、时间序列分析

大数据未来的应用趋势预测？

每个人健康和生活都需要的个性化建议；

企业管理中的选择和开拓新市场的可靠信息来源；

社会治理中大众利益的发现与政策满足

云Iaas：

网络、存储、服务器、虚拟机、系统、中间件、运行时间、数据、应用