初探大数据-开发环境介绍-实战一

使用环境：
1、centos(6.4)
2、hadoop版本对比及选择
    生产较多的CDH版本（CDH5.7.0）
    下载地址：课程整套CDH相关的软件下载地址：http://archive.cloudera.com/cdh5/cdh/5/
    cdh-5.7.0   生产或者测试环境选择对应CDH版本时，一定要采用尾号是一样的版本
    为什么很多公司选择Hadoop作为大数据平台的解决方案？
        1）源码开源
        2）社区活跃、参与者很多  Spark
        3）涉及到分布式存储和计算的方方面面：
                Flume进行数据采集
                Spark/MR/Hive等进行数据处理
                HDFS/HBase进行数据存储

        4) 已得到企业界的验证
3、开发工具对比及选
        IDEA（主要选选）
        Eclipse
4、环境使用方式
    完整版：链接: 链接:https://pan.baidu.com/s/1bqXFPIv  密码:s9xz



    下载下来解压，导入到vmfusion 启动
5、hadoop启动-验证
    /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin
    1）启动hdfs

    


    

   

    hadoop  fs -ls

    2）启动yarn
        ./start-yarn.sh
        验证
        


6、hive启动
    /home/hadoop/app/hive-1.1.0-cdh5.7.0/bin
    ./hive
7、spark启动
    /home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/bin
    ./spark-shell --master local[2] --jars ~/software/mysql-connector-java-5.1.27-bin.jar