数据时代的平台架构之闲言碎语

博客的主要思想就是定位在数据时代的各项技术，现在如火如荼的云计算，大数据，各种名词，各种技术，各种架构，眼花缭乱，令人应接不暇，这里来一起梳理下云有关的主要技术：（说明，下面很多摘自网上就各项技术的介绍，并非全部实践过，部分加上自己的理解）
1、OpenStack

OpenStack是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenStack通过各种互补的服务提供了基础设施即服务（IaaS）的解决方案，每个服务提供API以进行集成。

OpenStack云计算平台，帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrastructure as a Service, IaaS)。OpenStack 包含两个主要模块：Nova 和 Swift，前者是 NASA 开发的虚拟服务器部署和业务计算模块；后者是 Rackspace开发的分布式云存储模块，两者可以一起用，也可以分开单独用。

OpenStack覆盖了网络、虚拟化、操作系统、服务器等各个方面，包括多个核心项目：
计算资源（Nova，为单个用户或使用群组管理虚拟机实例的整个生命周期，根据用户需求来提供虚拟服务），
对象检索(Swift, 用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统), 镜像服务（Image Service）：Glance。一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。自Bexar版本集成到项目中。

身份服务（Identity Service）：Keystone。为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能，管理Domains、Projects、Users、Groups、Roles。自Essex版本集成到项目中。

网络&地址管理（Network）：Neutron。提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。插件架构支持许多主流的网络厂家和技术，如OpenvSwitch。自Folsom版本集成到项目中。

块存储 (Block Storage)：Cinder。为运行实例提供稳定的数据块存储服务，它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。自Folsom版本集成到项目中。

UI 界面 (Dashboard)：Horizon。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作，例如：启动实例、分配IP地址、配置访问控制等。自Essex版本集成到项目中。

测量 (Metering)：Ceilometer。像一个漏斗一样，能把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。自Havana版本集成到项目中。

部署编排 (Orchestration)：Heat[2] 。提供了一种通过模板定义的协同部署方式，实现云基础设施软件运行环境（计算、存储和网络资源）的自动化部署。自Havana版本集成到项目中。

数据库服务（Database Service）：Trove。为用户在OpenStack的环境提供可扩展和可靠的关系和非关系数据库引擎服务。自Icehouse版本集成到项目中。

OpenStack是搭建云平台技术，可以搭建公有云，私有云，和混合云。

OpenStack是开源的云管理平台，用来统一管理多个虚拟化集群的框架。

OpenStack目前分为两种

(1)OpenStack的运维

(2)OpenStack的二次开发 目前来讲，国内真正对openstack二次开发的很少，这方面的人才也是比较稀缺，网上资料也比较少。

2、Hadoop

Hadoop是一个是由Java语言来实现的处理大数据的技术，个人认为hadoop并不是就是云计算，并不是说云计算就言必Hadoop之类。前面说过Hadoop出错Lucune的创立者Doug Cutting大牛，他根据谷歌发表的分布式论文思想，发起开源的分布式存储和计算的开源项目就是Hadoop，这里有几个关键词：lucene,google，很明显都是搜索的，在想想Hadoop的Hello world，就明白很多东西了。

Hadoop主要包括两个核心的部分：HDFS和MapReduce。

3.Cloud Foundry

Cloud Foundry是一个开源的平台即服务产品，它提供给开发者自由度去选择云平台，开发框架和应用服务。Cloud Foundry最初由 VMware 发起，得到了业界广泛的支持，它使得开发者能够更快更容易的开发，测试，部署和扩展应用。Cloud Foundry是一个开源项目，用户可以使用多种私有云发行版，也可以使用公共云服务。

4.NoSQL

NoSQL即Not Only SQL。

NoSQL数据库是一种比较低级的数据库，关系型数据库是由NoSQL数据库发展而来。

什么是关系型数据库，这里不从概念上区别，常用的SqlServer，MySQL,Oracle都是关系型数据库。关系型数据库顾名思义，数据库关系明确严谨。

而NoSQL则是一种数据关系不严谨的数据库。一个Key和Value。