大数据第一步：Scala+Hadoop+Spark环境安装

（下面所有操作都要建立在安装过JDK的基础上）请到官网下载最新版本的scala、hadoop和spark，移动至/usr/local文件夹。


一、安装Scala1、解压


2、重命名


3、编辑/etc/profile


在底部添加export PATH=/usr/local/scala/bin:$PATH
4、使更改生效


5、验证出现下图即为成功


至此Scala安装全部完成。二、安装hadoop1、新增名为hadoop的用户


输入密码，如果提示密码过于简单可以无视，继续输入即可2、配置ssh免密登陆安装SSH client和SSH server。验证如下


密钥授权cd ~/.ssh/（如果没有该目录则先执行ssh localhost登陆，再输入exit退出）ssh-keygen -t rsa（生成密钥）cat id_rsa.pub >> authorized_keyschmod 600 ./authorized_keys3、解压，重命名（参考Scala，root权限）

4、更改hadoop权限


5、验证解压即可用，验证如下


三、安装Spark1、解压、重命名（参考Scala）


2、编辑/etc/profile


在底部添加SPARK_HOME=/usr/local/sparkPATH=$PATH:${SPARK_HOME}/bin3、使更改生效

4、验证


如果成功会出现


5、常见错误


如果出现这个错误在/etc/profile最后增加一行即可export LD_LIBRARY_PATH=/usr/local/hadoop/lib/native/:$LD_LIBRARY_PATH