Linux进阶命令和Shell编程
2017-12-20 16:43
288 查看
1.高级文本命令——sed
1.1sed简介
sed全称是:Stream EDitor,即流编辑器,是一个很好的文本处理工具,本身是一个管道命令,处理时,把当前处理的行存储在临时缓冲区中,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行。它是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作。1.2sed选项
-n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。-e :直接在命令列模式上进行 sed 的动作编辑;
-i :直接修改读取的文件内容,而不是输出到终端。
1.3sed函数
a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)d :删除,因为是删除啊,所以 d 后面通常不接任何内容
i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行)
p :列印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s :取代,可以直接进行取代的工作!通常这个 s 的动作可以搭配正规表示法!例如 20s/old/new/g
练习:
删除之后写入 sed '2d' testfile 只在展示的时候删除第二行,实际testfile文件并没有改变 sed -i '2d' testfile 将第二行删除并写入testfile文件,那么实际上testfile的第二行就被物理删除了。 替换 sed 's/hell/8888/g' testfile 以s开头代表替换,将hell替换成8888,/g代表全局替换,整个文件中的hell都被替换,如果不写则只替换第一个。 sed -i 's/hell/88888/g' testfile 替换完之后并写入到testfile文件,即物理替换。
2.高级文本命令——awk
2.1简介
awk是一种优良的文本处理工具。其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母,awk 提供了极其强大的功能:可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上 awk 的确拥有自己的语言:awk 程序设计语言, 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许你创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有其他的许多功能。练习:
last查最近登录的用户 last -n 5 查最近登录的五个用户 last -n 5 | awk '{print $1}' 查最近登录的五个用户并把结果作为后面的输入,输出第一列的值,即输出最近登录的五个用户的用户名。 awk工作流程是这样的:读入有'\n'换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户,$3表示登录用户ip,以此类推(说白了,其实就是以空格或tab作为分隔符划分为几列,$1就是取第一列的值)。
3.高级文本命令——cut、wc、sort
3.1cut命令
cut命令可以从一个文本文件或者文本流中提取文本列,有点类似于java中的split(分割)。cut语法:
cut -d'分隔字符' -f fields <==用于有特定分隔字符 cut -c 字符区间 <==用于排列整齐的信息
选项与参数:
-d :后面接分隔字符。与 -f 一起使用;
-f :依据 -d 的分隔字符将一段信息分割成为数段,用 -f 取出第几段的意思;
-c :以字符 (characters) 的单位取出固定字符区间;
示例:
[root@www ~]# echo $PATH /bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games 1 | 2 | 3 | 4 | 5 | 6 | 7 将 PATH 变量取出,要找出第五个路径。 echo $PATH | cut -d ':' -f 5 /usr/local/bin 将 PATH 变量取出,要找出第三和第五个路径。 echo $PATH | cut -d ':' -f 3,5 /sbin:/usr/local/bin 将 PATH 变量取出,要找出第三到最后一个路径。 echo $PATH | cut -d ':' -f 3- /sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games 将 PATH 变量取出,要找出第一到第三个路径。 echo $PATH | cut -d ':' -f 1-3 /bin:/usr/bin:/sbin: 将 PATH 变量取出,我要找出第一到第三,还有第五个路径。 echo $PATH | cut -d ':' -f 1-3,5 /bin:/usr/bin:/sbin:/usr/local/bin
3.2wc命令
wc命令用来统计文件里面有多少单词,多少行,多少字符。wc语法:
wc [-lwm] 选项与参数: -l :仅列出行; -w :仅列出多少字(英文单字); -m :多少字符;
示例:
使用wc统计/etc/passwd wc /etc/passwd 40 45 1719 /etc/passwd 40是行数,45是单词数,1719是字节数 wc -l /etc/passwd #统计行数,在对记录数时,很常用 40 /etc/passwd #表示系统有40个账户 wc -w /etc/passwd #统计单词出现次数 45 /etc/passwd wc -m /etc/passwd #统计文件的字符数 1719
3.3sort 命令
sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。sort语法:
sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同; -b :忽略最前面的空格符部分; -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法; -n :使用『纯数字』进行排序(默认是以文字型态来排序的); -r :反向排序; -u :就是 uniq ,相同的数据中,仅出现一行代表; -t :分隔符,默认是用 [tab] 键来分隔; -k :以那个区间 (field) 来进行排序的意思
例如:
对/etc/passwd 的账号进行排序 cat /etc/passwd | sort adm:x:3:4:adm:/var/adm:/sbin/nologin apache:x:48:48:Apache:/var/www:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin sort 默认以第一个数据来排序,而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。 /etc/passwd 内容是以 : 来分隔的,如果想以第三栏来排序,该如何 cat /etc/passwd | sort -t ':' -k 3 root:x:0:0:root:/root:/bin/bash uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin bin:x:1:1:bin:/bin:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin
4.Shell编程
4.0Shell介绍
Shell是用户与内核进行交互的一种接口,目前最流行的Shell是bash Shell;Shell也是一门编程语言(解释型的编程语言),即shell脚本。一个系统可以存在多个shell,可以通过:cat /etc/shells 命令查看系统中安装的shell,不同的shell可能支持的命令语法是不相同的。4.1 Shell的执行方式
首先需要赋予+x的权限,即执行的权限- bash或sh +脚本,就是sh加空格加脚本名称
sh /root/helloWorld.sh 或 sh helloWorld.sh
在脚本的路径前加”. “
./startup.sh
4.2变量和运算符
变量:Shell中的变量分为“系统变量”和“用户自定义变量”,可以通过set命令查看当前所有的变量系统变量:HOME、PWD、SHELL、USER等等。
自定义变量:需要注意以下几点。
定义规则:变量=值;
等号两侧不能有空格;
变量名称一般习惯为大写;
双引号和单引号有区别,双引号仅将空格脱意,单引号会将所有特殊字符脱意;
使用unset 变量名 来撤销变量;
使用readonly 声明静态变量;
使用export可将自定义变量提升为全局变量,例如我们在配置jdk时,就会把JAVA_HOME提升为系统变量。
STR=abc 就是定义了一个变量STR,它的值是abc. STR="hello world" 就是定义了一个变量STR,它的值是hello world A=9 unset A 就是撤销变量 A readonly B=2 声明静态的变量 B=2 ,不能 unset export 变量名 可把变量提升为全局环境变量,可供其他shell程序使用
将命令的返回值赋给变量
可以使用以下两种方式将返回值赋给变量
1.A=`ls -la` 反引号,运行里面的命令(列举出所有的文件),并把结果返回给变量A,注意这个点号是tab键上面的那个符号,而不是引号。 2.A=$(ls -la) 等价于反引号
特殊变量
$? 表示上一个命令退出的状态,0表示执行正常,不等于0表示执行不正常。 $$ 表示当前进程编号 $0 表示当前脚本名称 $n 表示n位置的输入参数(n代表数字,n>=1) $# 表示参数的个数,常用于循环 $*和$@ 都表示参数列表
运算符:
格式 :expr m + n 或$((m+n)) ,注意expr运算符间要有空格,m,n与+之间也要有空格。
计算(5+4)*6
#!/bin/bash S=`expr 5 + 4` expr $S \* 6 echo $(((2+3)*4))
输出结果是54和20,值得注意的是上面的表达式expr与5,+与5,4之间都要有空格,输出结果不能带echo,下面的表达式输出结果必须带echo,而且2与3,+之间无空格。
写完脚本之后记得chmod +x expr.sh给脚本添加权限。
4.3循环
for循环第一种形式
下面这三种等价,记住一种即可,我一般用第一种 #!/bin/bash for N in 1 2 3 do echo $N done for N in 1 2 3; do echo $N; done for N in {1..3}; do echo $N; done
第二种形式
for((i=1;i<=5;i++)) do echo "weclome $i" done
注意括号必须是两对,就是这种语法,而且不能是int i=1,而是直接写i=1。
- while循环
#!/bin/bash i=1 while((i<=5)) do echo "welcome $i" let i++ done
do开始执行语句,done代表执行结束,let i++代表让i++,改变i的值
4.4条件语句
#!/bin/bash case $1 in start) echo "starting" ;; stop) echo "stoping" ;; *) echo "没有匹配的" esac
这里需要传一个参数进来,用$1接住,然后判断这个参数如果等于start就输出starting,注意;;不能省略,不然会报错,如果输入stop,那这里就输出stoping,如果参数都不匹配,就输出没有匹配的,结尾的esac就是case的倒过来,这些计算机上古大神设计的东西确实很奇妙,不同于现在大部分这样结尾的,而是把单词倒过来,666。
测试的时候就需要传入参数,我这个脚本的名称是case.sh,测试命令如下,start,star是传入的参数。
[root@server1 test]# sh case.sh start starting [root@server1 test]# sh case.sh star 没有匹配的
4.5read命令
命令规则:read -p “提示语句” 参数,这个类似于java中的Scanner,就是获取用户在控制台输入的内容。[root@server1 test]# read -p "请输入你的名称:" name 请输入你的名称:Java开发日记 [root@server1 test]# echo $name Java开发日记
也可以把这个命令编写在shell脚本中,我这里用read.sh来写
#!/bin/bash read -p "请输入你的名字:" name echo $name
测试时:
[root@server1 test]# sh read.sh 请输入你的名字:Java开发日记 Java开发日记
4.6 if语句
#!/bin/bash read -p "请输入用户名" NAME printf '%s\n' $NAME if [ $NAME = root ] then echo "欢迎你 ${NAME}" elif [ $NAME = magic ] then echo "欢迎你,${NAME}" else echo "你是谁,滚犊子" fi
首先从控制台输入一个用户名,如果谁的等于root,或者等于magic,欢迎,如果都不是,提示出错信息。这里有几点注意,条件表达式里面的[与字符串,字符串与=中间都需要有空格,不然报错,条件表达式用中括号而不是小括号,是elif而不是elseif,结束时是fi(if反过来写)。
测试时:
[root@server1 test]# sh if.sh 请输入用户名root root 欢迎你 root [root@server1 test]# sh if.sh 请输入用户名magic magic 欢迎你,magic [root@server1 test]# sh if.sh 请输入用户名haha haha 你是谁,滚犊子
补充1:条件表达式里面如果是非空则是true,空则是false,例如[ magic ]则是true,[ ]则是false,可以$?进行验证。
补充2:[ condition ] && echo OK || echo notok,条件满足,执行输出OK,否则输出notok,类似于java中的三目运算。测试示例如下:
[ $NAME = magic ] && echo magic || echo root
如果输入的$NAME等于magic,则输出magic,否则输出root。
4.7常用判断条件
= 字符串比较 -lt 小于 -le 小于等于 -eq 等于 -gt 大于 -ge 大于等于 -ne 不等于 -r 有读的权限 -w 有写的权限 -x 有执行的权限 -f 文件存在并且是一个常规的文件 -s 文件存在且不为空 -d 文件存在并是一个目录 -b文件存在并且是一个块设备 -L 文件存在并且是一个链接
相关文章推荐
- linux系统命令之lsof进阶
- Linux进阶之 find 命令
- linux 进阶命令___0001
- Linux_shell编程基础_source命令和点命令
- linux系统学习1-5:linux进阶命令
- linux进阶命令
- Linux学习 命令篇(2)---进阶
- Linux编程 23 shell编程(结构化条件判断 命令if -then , if-then ... elif-then ...else,if test)
- Linux 命令行快速进阶(一)常用命令行
- Linux的shell编程前奏常见命令实战一
- Linux进阶之 rmdir 命令
- linux正则表达式入门及文件操作命令进阶
- Linux学习---shell编程(06-字符截取命令)
- linux必备命令awk入门及高级进阶
- 《Linux命令、编辑器与Shell编程》读书笔记3-linux命令中的特殊字符和正则表达式
- Linux笔记(26)——用户与用户组进阶命令
- Linux进阶之 mv 命令
- Linux学习---shell编程(07-printf命令)
- Linux进阶命令之tar
- GIT 命令“从初学到专业”完整进阶指南 | Linux 中国