笔记 1

完整的计算机分层

程序	程序	程序	程序	程序	程序	程序	程序
library 库（没有入口的程序仅供调用）（库调用）
内核(进程管理 内存管理 文件系统管理 网络功能管理 硬件驱动 安全机制)（上层可以通过系统调用获取功能）
硬件组成(提供各种硬件功能如：运算 网络 存储 I/O)

关于linux操作系统linux的基本原则
1 由单一的程序组成：组合小程序完成复杂的任务2 一切皆文件3 尽量避免捕获用户接口4 配置文件保存为纯文本

命令实现过程：命令 ->shell ->内核
密码设置的规则1 使用4种类别字符中的3种2 足够长度 至少7位3 使用随机字符串4 定期更换5 循环周期够长

ls
-l：长格式
文件类型：
-：普通文件 (f)
d: 目录文件
b: 块设备文件 (block)
c: 字符设备文件 (character)
l: 符号链接文件(symbolic link file)
p: 命令管道文件(pipe)
s: 套接字文件(socket)
文件权限：9位，每3位一组，每一组：rwx(读，写，执行), r--
文件硬链接的次数
文件的属主(owner)
文件的属组(group)
文件大小(size)，单位是字节
时间戳(timestamp)：最近一次被修改的时间
访问:access
修改:modify，文件内容发生了改变
改变:change，metadata，元数据
-h：做单位转换
-a: 显示以.开头的隐藏文件
. 表示当前目录
.. 表示父目录
-A
-d: 显示目录自身属性
-i: index node, inode
-r: 逆序显示
-R: 递归(recursive)显示

cd: change directory
家目录，主目录, home directory
cd ~USERNAME: 进入指定用户的家目录
cd -:在当前目录和前一次所在的目录之间来回切换
1：用户命令(/bin, /usr/bin, /usr/local/bin)
2：系统调用
3：库用户
4：特殊文件(设备文件)
5：文件格式(配置文件的语法)
6：游戏
7：杂项(Miscellaneous)
8: 管理命令(/sbin, /usr/sbin, /usr/local/sbin)

目录管理：
ls、cd、pwd、mkdir、rmdir、tree
文件管理：
touch、stat、file、rm、cp、mv、nano
日期时间：
date、clock、hwclock、cal

cut:
-d: 指定字段分隔符，默认是空格
-f: 指定要显示的字段
-f 1,3
-f 1-3
文本排序：sort
-n：数值排序
-r: 降序
-t: 字段分隔符
-k: 以哪个字段为关键字进行排序
-u: 排序后相同的行只显示一次
-f: 排序时忽略字符大小写

uniq:
-c: 显示文件中行重复的次数
-d: 只显示重复的行

文本统计：wc (word count)
-l
-w
-c
-L
查看文本：
cat、tac、more、less、head、tail

命令行编辑：
光标跳转：
Ctrl+a：跳到命令行首
Ctrl+e：跳到命令行尾
Ctrl+u: 删除光标至命令行首的内容
Ctrl+k: 删除光标至命令行尾的内容
Ctrl+l: 清屏

命令历史：
查看命令历史：history
-c：清空命令历史
-d OFFSET
: 删除指定位置的命令
-w：保存命令历史至历史文件中
环境变量
PATH：命令搜索路径
HISTSIZE: 命令历史缓冲区大小
命令历史的使用技巧：
!n：执行命令历史中的第n条命令；
!-n:执行命令历史中的倒数第n条命令；
!!: 执行上一条命令；
!string：执行命令历史中最近一个以指定字符串开头的命令
!$:引用前一个命令的最后一个参数;
Esc, .
Alt+.

文件名通配, globbing
*: 任意长度的任意字符
?：任意单个字符
[]：匹配指定范围内的任意单个字符
[abc], [a-m], [a-z], [A-Z], [0-9], [a-zA-Z], [0-9a-zA-Z]
[:space:]：空白字符
[:punct:]：标点符号
[:lower:]：小写字母
[:upper:]: 大写字母
[:alpha:]: 大小写字母
[:digit:]: 数字
[:alnum:]: 数字和大小写字母.

/etc/passwd
account: 登录名
password: 密码
UID：
GID：基本组ID
comment: 注释
HOME DIR：家目录
SHELL：用户的默认shell

用户管理：
useradd, userdel, usermod, passwd, chsh, chfn, finger, id, chage
组管理：
groupadd, groupdel, groupmod, gpasswd

权限管理：
chown, chgrp, chmod, umask

/etc/passwd:
用户名：密码：UID:GID：注释：家目录：默认SHELL
/etc/group:
组名：密码：GID:以此组为其附加组的用户列表
/etc/shadow：
用户名：密码：最近一次修改密码的时间：最短使用期限：最长使用期限：警告时间：非活动时间：过期时间：

useradd [options] USERNAME
-u UID
-g GID（基本组）
-G GID,... （附加组）
-c "COMMENT"
-d /path/to/directory
-s SHELL
-m -k
-M
-r: 添加系统用户

/etc/login.defs

环境变量：
PATH
HISTSIZE
SHELL

/etc/shells：指定了当前系统可用的安全shell

userdel:
userdel [option] USERNAME
-r: 同时删除用户的家目录
id：查看用户的帐号属性信息
-u
-g
-G
-n
finger: 查看用户帐号信息
finger USERNAME
修改用户帐号属性：
usermod
-u UID
-g GID
-a -G GID：不使用-a选项，会覆盖此前的附加组；
-c
-d -m：
-s
-l
-L：锁定帐号
-U：解锁帐号

chsh: 修改用户的默认shell
chfn：修改注释信息

密码管理：
passwd [USERNAME]
--stdin
-l
-u
-d: 删除用户密码
pwck：检查用户帐号完整性

组管理：
创建组:groupadd
groupadd
-g GID
-r：添加为系统组

groupmod
-g GID
-n GRPNAME
groupdel
gpasswd：为组设定密码

chage
-d: 最近一次的修改时间
-E: 过期时间
-I：非活动时间
-m: 最短使用期限
-M: 最长使用期限
-W: 警告时间

chown: 改变文件属主(只有管理员可以使用此命令)
# chown USERNAME file,...
-R: 修改目录及其内部文件的属主
--reference=/path/to/somefile file,...
chown USERNAME:GRPNAME file,...
chown USERNAME.GRPNAME file,...

# chgrp GRPNAME file,...
-R
--reference=/path/to/somefile file,...

chmod: 修改文件的权限
修改三类用户的权限：
chmod MODE file,...
-R
--reference=/path/to/somefile file,...
rwxr-x---
修改某类用户或某些类用户权限：
u,g,o,a
chmod 用户类别=MODE file,...
修改某类用户的某位或某些位权限：
u,g,o,a
chmod 用户类别+|-MODE file,...

站在用户登录的角度来说，SHELL的类型：
登录式shell:
正常通常某终端登录
su - USERNAME
su -l USERNAME
非登录式shell:
su USERNAME
图形终端下打开命令窗口
自动执行的shell脚本

bash的配置文件：
全局配置
/etc/profile, /etc/profile.d/*.sh, /etc/bashrc
个人配置
~/.bash_profile, ~/.bashrc

profile类的文件：
设定环境变量
运行命令或脚本
bashrc类的文件：
设定本地变量
定义命令别名

登录式shell如何读取配置文件？
/etc/profile --> /etc/profile.d/*.sh --> ~/.bash_profile --> ~/.bashrc --> /etc/bashrc
非登录式shell如何配置文件?
~/.bashrc --> /etc/basrc --> /etc/profile.d/*.sh

grep, egrep, fgrep
grep: 根据模式搜索文本，并将符合模式的文本行显示出来。
Pattern: 文本字符和正则表达式的元字符组合而成匹配条件
grep [options] PATTERN [FILE...]
-i
--color
-v: 显示没有被模式匹配到的行
-o：只显示被模式匹配到的字符串

*: 任意长度的任意字符
?: 任意单个字符
[]:
[^]:
正则表达式：REGular EXPression, REGEXP
元字符：
.: 匹配任意单个字符
[]: 匹配指定范围内的任意单个字符
[^]：匹配指定范围外的任意单个字符
字符集合：[:digit:], [:lower:], [:upper:], [:punct:], [:space:], [:alpha:], [:alnum:]
匹配次数（贪婪模式）：
*: 匹配其前面的字符任意次
a, b, ab, aab, acb, adb, amnb
a*b， a?b
a.*b
.*: 任意长度的任意字符
\?: 匹配其前面的字符1次或0次
\{m,n\}:匹配其前面的字符至少m次，至多n次
\{1,\}
\{0,3\}
位置锚定：
^: 锚定行首，此字符后面的任意内容必须出现在行首
$: 锚定行尾，此字符前面的任意内容必须出现在行尾
^$: 空白行
\<或\b: 锚定词首，其后面的任意字符必须作为单词首部出现
\>或\b: 锚定词尾，其前面的任意字符必须作为单词的尾部出现
分组：
\(\)
\(ab\)*
后向引用
\1: 引用第一个左括号以及与之对应的右括号所包括的所有内容
\2:
\3:

bash变量类型：
环境变量
本地变量(局部变量)
位置变量
特殊变量

本地变量：
set VARNAME=VALUE: 作用域为整个bash进程；
局部变量：
local VARNAME=VALUE：作用域为当前代码段；
环境变量：作用域为当前shell进程及其子进程；
export VARNAME=VALUE
VARNAME=VALUE
export VARNAME
“导出”
位置变量：
$1, $2, ...
特殊变量：
$?: 上一个命令的执行状态返回值；

撤消变量：
unset VARNAME
查看当shell中变量：
set
查看当前shell中的环境变量：
printenv
env
export

bash中如何实现条件判断？
条件测试类型：
整数测试
字符测试
文件测试
条件测试的表达式：
[ expression ]
` expression `
test expression

整数比较:
-eq: 测试两个整数是否相等；比如 $A -eq $B
-ne: 测试两个整数是否不等；不等，为真；相等，为假；
-gt: 测试一个数是否大于另一个数；大于，为真；否则，为假；
-lt: 测试一个数是否小于另一个数；小于，为真；否则，为假；
-ge: 大于或等于
-le：小于或等于

命令的间逻辑关系：
逻辑与： &&
第一个条件为假时，第二条件不用再判断，最终结果已经有；
第一个条件为真时，第二条件必须得判断；
逻辑或： ||

shell中如何进行算术运算：
1、let 算术运算表达式
let C=$A+$B
2、$[算术运算表达式]
C=$[$A+$B]
3、$((算术运算表达式))
C=$(($A+$B))
4、expr 算术运算表达式，表达式中各操作数及运算符之间要有空格，而且要使用命令引用
C=`expr $A + $B`

if 条件测试格式
测试方法：
[ expression ]
` expression `
test expression

文件测试：
-e FILE：测试文件是否存在
-f FILE: 测试文件是否为普通文件
-d FILE: 测试指定路径是否为目录
-r FILE: 测试当前用户对指定文件是否有读取权限；
-w
-x

练习：写一个脚本
给定一个文件：
如果是一个普通文件，就显示之；
如果是一个目录，亦显示之；
否则，此为无法识别之文件；

定义脚本退出状态码
exit: 退出脚本
exit #
如果脚本没有明确定义退出状态码，那么，最后执行的一条命令的退出码即为脚本的退出状态码；

测试脚本是否有语法错误：
bash -n 脚本
bash -x 脚本：单步执行

bash变量的类型：
本地变量(局部变量)
环境变量
位置变量:
$1, $2, ...
shift
特殊变量：
$?
$#：参数的个数
$*: 参数列表
$@：参数列表

grep, sed(流编辑器), awk
sed基本用法：
sed: Stream EDitor
行编辑器 (全屏编辑器: vi)

sed: 模式空间
默认不编辑原文件，仅对模式空间中的数据做处理；而后，处理结束后，将模式空间打印至屏幕；

sed [options] 'AddressCommand' file ...
-n: 静默模式，不再默认显示模式空间中的内容
-i: 直接修改原文件
-e SCRIPT -e SCRIPT:可以同时执行多个脚本
-f /PATH/TO/SED_SCRIPT
sed -f /path/to/scripts file
-r: 表示使用扩展正则表达式

Address：
1、StartLine,EndLine
比如1,100
$：最后一行
2、/RegExp/
/^root/
3、/pattern1/,/pattern2/
第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束，这中间的所有行
4、LineNumber
指定的行
5、StartLine, +N
从startLine开始，向后的N行；

Command：
d: 删除符合条件的行；
p: 显示符合条件的行；
a \string: 在指定的行后面追加新行，内容为string
\n：可以用于换行
i \string: 在指定的行前面添加新行，内容为string
r FILE: 将指定的文件的内容添加至符合条件的行处
w FILE: 将地址指定的范围内的行另存至指定的文件中;
s/pattern/string/修饰符: 查找并替换，默认只替换每行中第一次被模式匹配到的字符串
加修饰符
g: 全局替换
i: 忽略字符大小写
s///: s###, s@@@
\(\), \1, \2

l..e: like-->liker
love-->lover

like-->Like
love-->Love

&: 引用模式匹配整个串

grep, egrep, fgrep: 文本查找
文件查找：
locate:
非实时，模糊匹配，查找是根据全系统文件数据库进行的；
# updatedb, 手动生成文件数据库
速度快
find：
实时
精确
支持众多查找标准
遍历指定目录中的所有文件完成查找，速度慢；

find 查找路径 查找标准 查找到以后的处理运作
查找路径：默认为当前目录
查找标准：默认为指定路径下的所有文件
处理运作：默认为显示
匹配标准：
-name 'FILENAME'：对文件名作精确匹配
文件名通配：
*：任意长度的任意字符
?
[]
-iname 'FILENAME': 文件名匹配时不区分大小写
-regex PATTERN：基于正则表达式进行文件名匹配

-user USERNAME: 根据属主查找
-group GROUPNAME: 根据属组查找

-uid UID: 根据UID查找
-gid GID: 根据GID查找

-nouser：查找没有属主的文件
-nogroup: 查找没有属组的文件

-type
f: 普通文件
d
c
b
l
p
s

-size [+|-]
#k
#M
#G

组合条件：
-a
-o
-not

/tmp目录，不是目录，并且还不能套接字类型的文件
/tmp/test目录下，属主不是user1，也不是user2的文件；
-mtime
-ctime
-atime
[+|-]#
-mmin
-cmin
-amin
[+|-]#

-perm MODE：精确匹配
/MODE: 任意一位匹配即满足条件
-MODE: 文件权限能完全包含此MODE时才符合条件

-644
644: rw-r--r--
755: rwxr-xr-x
750: rwxr-x---
find ./ -perl -001

运作：
-print: 显示
-ls：类似ls -l的形式显示每一个文件的详细
-ok COMMAND {} \; 每一次操作都需要用户确认
-exec COMMAND {} \;

特殊权限
passwd:s
SUID: 运行某程序时，相应进程的属主是程序文件自身的属主，而不是启动者；
chmod u+s FILE
chmod u-s FILE
如果FILE本身原来就有执行权限，则SUID显示为s；否则显示S；
SGID: 运行某程序时，相应进程的属组是程序文件自身的属组，而不是启动者所属的基本组；
chmod g+s FILE
chmod g-s FILE
develop team, hadoop, hbase, hive
/tmp/project/
develop
Sticky: 在一个公共目录，每个都可以创建文件，删除自己的文件，但不能删除别人的文件；
chmod o+t DIR
chmod o-t DIR

字符测试：
==：测试是否相等，相等为真，不等为假
!=: 测试是否不等，不等为真，等为假
>
<
-z string: 测试指定字符串是否为空，空则真，不空则假
-n string: 测试指定字符串是否不空，不空为真，空则为假

vim编辑器
文本编辑器，字处理器
ASCII
nano, sed
vi: Visual Interface
vim: VI iMproved
全屏编辑器，模式化编辑器
vim模式：
编辑模式(命令模式)
输入模式
末行模式
模式转换：
编辑-->输入：
i: 在当前光标所在字符的前面，转为输入模式；
a: 在当前光标所在字符的后面，转为输入模式；
o: 在当前光标所在行的下方，新建一行，并转为输入模式；

I：在当前光标所在行的行首，转换为输入模式
A：在当前光标所在行的行尾，转换为输入模式
O：在当前光标所在行的上方，新建一行，并转为输入模式；
输入-->编辑：
ESC

编辑-->末行：
：
末行-->编辑：
ESC, ESC
一、打开文件
# vim /path/to/somefile
vim +# :打开文件，并定位于第#行
vim +：打开文件，定位至最后一行
vim +/PATTERN : 打开文件，定位至第一次被PATTERN匹配到的行的行首
默认处于编辑模式

二、关闭文件
1、末行模式关闭文件
:q 退出
:wq 保存并退出
:q! 不保存并退出
:w 保存
:w! 强行保存
:wq --> :x
2、编辑模式下退出
ZZ: 保存并退出
三、移动光标(编辑模式)
1、逐字符移动：
h: 左
l: 右
j: 下
k: 上
#h: 移动#个字符；

2、以单词为单位移动
w: 移至下一个单词的词首
e: 跳至当前或下一个单词的词尾
b: 跳至当前或前一个单词的词首

#w:

3、行内跳转：
0: 绝对行首
^: 行首的第一个非空白字符
$: 绝对行尾
4、行间跳转
#G：跳转至第#行；
G：最后一行

末行模式下，直接给出行号即可

四、翻屏
Ctrl+f: 向下翻一屏
Ctrl+b: 向上翻一屏
Ctrl+d: 向下翻半屏
Ctrl+u: 向上翻半屏
五、删除单个字符
x: 删除光标所在处的单个字符
#x: 删除光标所在处及向后的共#个字符
六、删除命令: d
d命令跟跳转命令组合使用；
#dw, #de, #db
dd: 删除当前光标所在行
#dd: 删除包括当前光标所在行在内的#行；
末行模式下：
StartADD,EndADDd
.: 表示当前行
$: 最后一行
+#: 向下的#行

七、粘贴命令 p
p: 如果删除或复制为整行内容，则粘贴至光标所在行的下方，如果复制或删除的内容为非整行，则粘贴至光标所在字符的后面；
P: 如果删除或复制为整行内容，则粘贴至光标所在行的上方，如果复制或删除的内容为非整行，则粘贴至光标所在字符的前面；
八、复制命令 y
用法同d命令

九、修改：先删除内容，再转换为输入模式
c: 用法同d命令
十、替换：r
R: 替换模式
十一、撤消编辑操作 u
u：撤消前一次的编辑操作
连续u命令可撤消此前的n次编辑操作
#u: 直接撤消最近#次编辑操作
撤消最近一次撤消操作：Ctrl+r
十二、重复前一次编辑操作
.
十三、可视化模式
v: 按字符选取
V：按矩形选取
十四、查找
/PATTERN
?PATTERN
n
N
十五、查找并替换
在末行模式下使用s命令
ADDR1,ADDR2s@PATTERN@string@gi
1,$
%：表示全文

十六、使用vim编辑多个文件
vim FILE1 FILE2 FILE3
:next 切换至下一个文件
:prev 切换至前一个文件
:last 切换至最后一个文件
:first 切换至第一个文件
退出
:qa 全部退出
十七、分屏显示一个文件
Ctrl+w, s: 水平拆分窗口
Ctrl+w, v: 垂直拆分窗口
在窗口间切换光标：
Ctrl+w, ARROW
:qa 关闭所有窗口
十八、分窗口编辑多个文件
vim -o : 水平分割显示
vim -O : 垂直分割显示
十九、将当前文件中部分内容另存为另外一个文件
末行模式下使用w命令
:w
:ADDR1,ADDR2w /path/to/somewhere
二十、将另外一个文件的内容填充在当前文件中
:r /path/to/somefile
二十一、跟shell交互
:! COMMAND
二十二、高级话题
1、显示或取消显示行号
:set number
:set nu
:set nonu
2、显示忽略或区分字符大小写
:set ignorecase
:set ic
:set noic
3、设定自动缩进
:set autoindent
:set ai
:set noai
4、查找到的文本高亮显示或取消
:set hlsearch
:set nohlsearch
5、语法高亮
:syntax on
:syntax off
二十三、配置文件
/etc/vimrc
~/.vimrc

FACL：Filesystem Access Control List
利用文件扩展保存额外的访问控制权限
jerry: rw-
setfacl
-m: 设定
u:UID:perm
g:GID:perm
-x：取消
u:UID
g:GID
getfacl

几个命令：
w
who
每隔5秒钟，就来查看hadoop是否已经登录，如登录，显示其已经登录，并退出；
sleep
whoami
last，显示/var/log/wtmp文件，显示用户登录历史及系统重启历史
-n #: 显示最近#次的相关信息
lastb，/var/log/btmp文件，显示用户错误的登录尝试
-n #:
lastlog: 显示每一个用户最近一次的成功登录信息；
-u USERNAME: 显示特定用户最近的登录信息
basename
$0: 执行脚本时的脚本路径及名称

hostname: 显示主机名

面向过程
控制结构
顺序结构
选择结构
循环结构
选择结构：
if: 单分支、双分支、多分支
if CONDITION; then
statement
...
fi
if CONDITION; then
statement
...
else
statement
...
fi
if CONDITION1; then
statement
...
elif CONDITION2; then
statement
...
esle
statement
...
fi

case语句：选择结构
case SWITCH in
value1)
statement
...
;;
value2)
statement
...
;;
*)
statement
...
;;
esac
rpm -Uvh http://ftp.linux.ncsu.edu/pub/epel/6/i386/epel-release-6-8.noarch.rpm
yum repolist