大数据课程体系-学习笔记-第一阶段-Linux Base

Linux简单介绍
版本选择
最常用版本介绍

二者的区别
参考资料

结论

安装

常用命令归纳

cd命令

ls命令

grep命令

例如

取出文件etcmanconfig中包含MANPATH的行并把找到的关键字加上颜色

把ls -l的输出中包含字母file不区分大小写的内容输出

find命令

cp命令
例如

mv命令
例如

rm命令
例如

mkdir命令

file命令

tar命令

cat命令

vim命令

权限问题
基本权限
chgrp命令
例如

chown命令

chmod命令

注新装LINUX系统如何获得ROOT权限图文教程
进入terminal
然后输入sudo passwd root 并设置密码

提示要你输入两次密码自己设定密码一定要记住然后切换到root使用

输入 su root
要求你输入密码然后输入刚才设定的密码OK进去了

如果不想切换root但是想拥有大部分root权限

可以在使用命令时候加上sudo

sudo mount挂载

sudo gedit命令

如果你想再linux上切换用户输入su 用户名

就OK了他会要求你输入密码

注意事项

su - root 与 su root 的区别
su - root 是切换到root账号使用使用的是root用户的环境变量su root 则是取得root的特权以root的身份执行程序但保留原来用户环境说明有些命令即使你使用su root切换到root用户仍无法执行所以切换到root用户时建议使用su - root

Linux简单介绍

1. 版本选择

最常用版本介绍

Ubuntu

Ubuntu中文官网

Ubuntu（乌班图）是一个以桌面应用为主的Linux操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu基于Debian发行版和GNOME桌面环境，而从11.04版起，Ubuntu发行版放弃了Gnome桌面环境，改为Unity，与Debian的不同在于它每6个月会发布一个新版本。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。Ubuntu具有庞大的社区力量，用户可以方便地从社区获得帮助。2013年1月3日，Ubuntu正式发布面向智能手机的移动操作系统。[1]

ubuntu基于linux的免费开源桌面PC操作系统，十分契合英特尔的超极本定位，支持x86、64位和ppc架构。



CentOS

CentOS中文站

CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同，在于CentOS并不包含封闭源代码软件。

二者的区别

参考资料

1.服务器操作系统应该选择 Debian/Ubuntu 还是 CentOS？

2.为什么国内互联网公司喜欢用Centos而不是Ubuntu？

3.技术选择 - 为什么我们选择CentOS而不是Debian、Ubuntu？

结论

对于Linux初学者建议使用Ubuntu 有一定基础的建议选择CentOS

在对于版本号的选择上 建议选用Ubuntu14.04 或者 CentOS 7.0

初学大数据，不是在开发环境中，不要选择太新的版本，以免出现各种不必要的问题。

具体下载地址从上述官方网站中寻找即可

2. 安装

对用大数据初学，通常是在虚拟机环境下安装Linux。

采用的虚拟机软件通常为Vmareworkstation

具体安装过程自行百度，不再详述。

在之后的大数据相关学习中，将同时使用Ubuntu 和Centos作为对比学习

3.常用命令归纳

Linux鸟哥归纳

1. cd命令

这是一个非常基本，也是大家经常需要使用的命令，它用于切换当前目录，它的参数是要切换到的目录的路径，可以是绝对路径，也可以是相对路径。如：

cd /root/Docements # 切换到目录/root/Docements
cd ./path          # 切换到当前目录下的path目录中，“.”表示当前目录
cd ../path         # 切换到上层目录中的path目录中，“..”表示上一层目录

2. ls命令

这是一个非常有用的查看文件与目录的命令，list之意，它的参数非常多，下面就列出一些常用的参数吧，如下：

-l ：列出长数据串，包含文件的属性与权限数据等
-a ：列出全部的文件，连同隐藏文件（开头为.的文件）一起列出来（常用）
-d ：仅列出目录本身，而不是列出目录的文件数据
-h ：将文件容量以较易读的方式（GB，kB等）列出来
-R ：连同子目录的内容一起列出（递归列出），等于该目录下的所有文件都会显示出来

注：这些参数也可以组合使用，下面举两个例子：

ls -l #以长数据串的形式列出当前目录下的数据文件和目录
ls -lR #以长数据串的形式列出当前目录下的所有文件

3. grep命令

该命令常用于分析一行的信息，若当中有我们所需要的信息，就将该行显示出来，该命令通常与管道命令一起使用，用于对一些命令的输出进行筛选加工等等，它的简单语法为

grep [-acinv] [--color=auto] '查找字符串' filename

它的常用参数如下：

-a ：将binary文件以text文件的方式查找数据
-c ：计算找到‘查找字符串’的次数
-i ：忽略大小写的区别，即把大小写视为相同
-v ：反向选择，即显示出没有‘查找字符串’内容的那一行

[b]例如：[/b]

[b]取出文件/etc/man.config中包含MANPATH的行，并把找到的关键字加上颜色[/b]

grep --color=auto 'MANPATH' /etc/man.config

[b]把ls -l的输出中包含字母file（不区分大小写）的内容输出[/b]

ls -l | grep -i file

4. find命令

find是一个基于查找的功能非常强大的命令，相对而言，它的使用也相对较为复杂，参数也比较多，所以在这里将给把它们分类列出，它的基本语法如下：

find [PATH] [option] [action]

5. cp命令

该命令用于复制文件，copy之意，它还可以把多个文件一次性地复制到一个目录下，它的常用参数如下：

-a ：将文件的特性一起复制
-p ：连同文件的属性一起复制，而非使用默认方式，与-a相似，常用于备份
-i ：若目标文件已经存在时，在覆盖时会先询问操作的进行
-r ：递归持续复制，用于目录的复制行为
-u ：目标文件与源文件有差异时才会复制

[b]例如 ：[/b]

cp -a file1 file2 #连同文件的所有特性把文件file1复制成文件file2
cp file1 file2 file3 dir #把文件file1、file2、file3复制到目录dir中

6. mv命令

该命令用于移动文件、目录或更名，move之意，它的常用参数如下：

-f ：force强制的意思，如果目标文件已经存在，不会询问而直接覆盖
-i ：若目标文件已经存在，就会询问是否覆盖
-u ：若目标文件已经存在，且比目标文件新，才会更新

注：该命令可以把一个文件或多个文件一次移动一个文件夹中，但是最后一个目标文件一定要是“目录”。

[b]例如：[/b]

mv file1 file2 file3 dir # 把文件file1、file2、file3移动到目录dir中
mv file1 file2 # 把文件file1重命名为file2

7. rm命令

该命令用于删除文件或目录，remove之间，它的常用参数如下：

-f ：就是force的意思，忽略不存在的文件，不会出现警告消息
-i ：互动模式，在删除前会询问用户是否操作
-r ：递归删除，最常用于目录删除，它是一个非常危险的参数

[b]例如：[/b]

rm -i file # 删除文件file，在删除之前会询问是否进行该操作
rm -fr dir # 强制删除目录dir中的所有文件

8. mkdir命令

该命令用于创建文件夹

mkdir [director name]

9. file命令

该命令用于判断接在file命令后的文件的基本数据，因为在Linux下文件的类型并不是以后缀为分的，所以这个命令对我们来说就很有用了，它的用法非常简单，基本语法如下：

file filename

10. tar命令

该命令用于对文件进行打包，默认情况并不会压缩，如果指定了相应的参数，它还会调用相应的压缩程序（如gzip和bzip等）进行压缩和解压。它的常用参数如下：

-c ：新建打包文件
-t ：查看打包文件的内容含有哪些文件名
-x ：解打包或解压缩的功能，可以搭配-C（大写）指定解压的目录，注意-c,-t,-x不能同时出现在同一条命令中
-j ：通过bzip2的支持进行压缩/解压缩
-z ：通过gzip的支持进行压缩/解压缩
-v ：在压缩/解压缩过程中，将正在处理的文件名显示出来
-f filename ：filename为要处理的文件
-C dir ：指定压缩/解压缩的目录dir
上面的解说可以已经让你晕过去了，但是通常我们只需要记住下面三条命令即可：
[plain] view plain copy print?
压缩：tar -zcv -f filename.tar.gz 要被处理的文件或目录名称
查询：tar -ztv -f filename.tar.gz
解压：tar -xzvf -f filename.tar.gz -C 欲解压缩的目录

注：文件名并不定要以后缀tar.gz结尾，这里主要是为了说明使用的压缩程序为gzip

11. cat命令

该命令用于查看文本文件的内容，后接要查看的文件名，通常可用管道与more和less一起使用，从而可以一页页地查看数据。例如：

cat text         # 查看text文件中的内容
cat text | less  # 查看text文件中的内容 ,一页一页查看

注：这条命令也可以使用less text来代替

12. vim命令

该命令主要用于文本编辑，它接一个或多个文件名作为参数，如果文件存在就打开，如果文件不存在就以该文件名创建一个文件。vim是一个非常好用的文本编辑器，它里面有很多非常好用的命令，在这里不再多说。具体请百度

vim text #用vim编辑text文件

4. 权限问题

1. 基本权限

linux权限机制采用UGO模式。其中 u（user）表示所属用户、g（group）表示所属组、o（other）表示除了所属用户、所属组之外的情况。

u、g、o 都有读（read）、写（write）、执行（excute） 三个权限，所以UGO模式是三类九种基本权限。

用命令 ls -l 可列出文件的权限，第一列输出明确了后面的输出（后面一列代表 ugo权限）。第一个字母对应的关系：

符号	意义
“-”	普通文件
“d”	目录
”l“	符号链接
”c“	字符设备
“b”	块设备
“s”	套接字
“p”	管道

1. chgrp命令

该命令用于改变文件所属用户组，它的使用非常简单，它的基本用法如下：

chgrp [-R] dirname/filename

-R ：进行递归的持续对所有文件和子目录更改

[b]例如：[/b]

chgrp users -R ./dir # 递归地把dir目录下中的所有文件和子目录下所有文件的用户组修改为users

2. chown命令

该命令用于改变文件的所有者，与chgrp命令的使用方法相同，只是修改的文件属性不同，不再详述。

3. chmod命令

该命令用于改变文件的权限，一般的用法如下：

chmod [-R] xyz 文件或目录

-R：进行递归的持续更改，即连同子目录下的所有文件都会更改

同时，chmod还可以使用u（user）、g（group）、o（other）、a（all）和+（加入）、-（删除）、=（设置）跟rwx搭配来对文件的权限进行更改。

chmod 755 file # 把file的文件权限改变为-rwxr-xr-x

注：755的来历是

u g o

rwx rwx rwx

111 101 101

chmod g+w file # 向file的文件权限中加入用户组可写权限

注：新装LINUX系统如何获得ROOT权限，,图文教程

1. 进入terminal

然后，输入sudo passwd root 并，设置密码

提示要你输入两次密码，自己设定密码，一定要记住，然后切换到root使用

2.输入 su root

要求你输入密码，然后，输入刚才设定的密码OK，进去了

**如果不想切换root但是想拥有大部分root权限

可以在使用命令时候加上sudo，

sudo mount挂载

sudo gedit命令

如果你想再linux上切换用户，输入，su + 用户名

就OK了，他会要求你输入密码**

注意事项：

1.su - root 与 su root 的区别

su - root 是切换到root账号使用，使用的是root用户的环境变量；su root 则是取得root的特权，以root的身份执行程序，但保留原来用户环境。说明：有些命令即使你使用su root切换到root用户，仍无法执行，所以切换到root用户时，建议使用su - root。