Linux

常用Linux操作系统

RedHat(红帽)：6.5、7
CentOS：6.5、7
Ubuntu：16.04、18.04

远程连接工具-xshell

# 1、定义
xshell: 安装终端模拟软件
# 2、使用
文件-新建-输入服务器IP地址-输入用户名-输入密码-确认连接
# 3、文件互传
sudo apt-get install lrzsz
Windows -> Linux：rz
Linux -> Windows: sz filename

默认已熟练使用的Linux命令

1、pwd
2、cd    -- cd .. 、cd
3、ls    -- ll
4、mkdir
5、touch
6、tar
7、cp    -- cp -r
8、mv

常用命令

1、ifconfig
查看IP地址和MAC地址,Windows中命令为:ipconfig

2、ping IP/域名 [-c n]
测试网络连通性,-c指定连接次数

3、nslookup 域名
解析域名对应的IP地址

4、ls -lh file|directory
显示文件权限及详细信息

5、tar -zcvf filename.tar.gz file1 file2 directory3
将文件|目录打包并压缩

6、tar -zxvf filename.tar.gz [-C path]
解压缩,默认解压到当前路径,-C可指定路径

7、ps -aux
显示进程命令(包含PID号)  ps -aux | grep 'mysql'

8、kill PID
杀死某个进程
eg: ps -aux | grep 'mysql'
sudo kill PID号

9、chmod 权限 file
给文件指定或者增加某权限

10、chown user:group file
更改属主和属组
eg: chown root:root file

11、find path -name filename
在某个路径下查找文件
eg: find /home/tarena/ -name '*.avi'

12、ssh user@IP
远程连接到服务器
eg: ssh tarena@172.40.91.138

13、scp file user@IP:绝对路径
本地文件复制到远程
eg: scp python.tar.gz tarena@172.40.91.138:/home/tarena/

vi及vim使用

文本编辑器,vim是vi的升级版
# 使用流程
1、vi filename
初始(不能编辑,浏览模式)  -> 按 a(可编辑,插入模式) -> 编辑内容 -> 按ESC,然后shift+:(命令行模式) -> 输入wq!(保存并退出)、或q!(不保存直接退出)

# 常用
1、查找
浏览模式 -> 输入 /  -> 输入查找内容 -> Enter  (n表示下1个,shift+n表示上1个)
2、复制+删除+粘贴+撤销
yy：复制光标所在行(2yy复制两行内容)
p：粘贴
dd：删除(剪切)光标所在行(3dd删除(剪切)3行内容）
u: 撤销

# 光标的跳转(浏览模式)：
行首： home
行尾： end
全文的首行：gg
全文的最后一行：G
全文的12行：12G

练习

1、在用户主目录下新建目录(mkdir):  你的名字(比如:MrRight)
2、在目录MrRight中新建文件song.txt(可使用touch命令,或者直接使用vim)
3、在song.txt中写入一首你最喜欢的诗,保存并退出
4、把/etc/passwd文件拷贝到 MrRight 目录一份(cp命令)
5、在 /home/tarena/MrRight/passwd 文件中筛选 tarena 用户的信息(grep命令)
6、查看passwd文件的权限,并将其权限修改为所有用户都可读可写但是不可执行(chmod命令)
7、将 MrRight 目录打包压缩,MrRight-你的名字.tar.gz
8、将此压缩包远程复制到 主讲机 | 同桌 计算机的电脑上

Linux命令-Go on

# 14、管道操作  | ：
将前面命令的输出，专递给后面命令，作为后面命令的参数
查看 /etc/passwd 文件的 第6-10行？ - cat、head、tail

# 15、统计目录总共的占用空间的大小
du -sh 目录

# 16、查看磁盘使用情况(根分区使用情况)
df -h

# 17、常见通配符使用
*：任意多个字符
？：单个字符
eg1: rm -rf /home/tarena/test/*
eg2: ls *.jpg

# 18、重定向: 将前面命令的输出，写入到文本文件中
>：覆盖重定向
>>：追加重定向

# 19、创建用户(会创建同名组)
useradd username

# 20、设置密码
sudo passwd 用户名

# 21、删除用户
userdel
-r：递归删除，删除用户的家目录以及用户的邮件文件

Linux-Go on

# 22、统计文件的行数
wc -l
eg1: wc -l /etc/passwd

# 23、对文件中内容进行排序
sort 文件名

# 24、去除重复行,并统计每行出现的次数(相邻行)
uniq -c
sort 文件名 | uniq -c

周期性计划任务

# 1、进入周期性计划任务
crontab -e (首次进入按2 - 找vim)

# 设置周期性计划任务
* * * * *  : 五个*号代表  分 时 日 月 周
分 ：0-59
时 ：0-23
日 ：1-31
月 ：1-12
周 ：0-6

# 开始设置 :
1、'*' 代表所有可能值
2、',' 指定多个时间点
3、'/' 指定时间间隔频率
4、'-' 指定一个时间段

# 示例
1、每月的1日和5日两天: * * 1,5 * *
2、每10分钟: */10 * * * *
3、0点-6点每小时执行: 0 0-6/1 * * *
4、每分钟执行: * * * * *

# 练习
1、每小时的第3分钟和第15分钟执行
3,15 * * * *
2、每周六、周日的0点执行一个 01.py 文件
0 0 * * 6,0
6、每天18:00到23:00之间每小时执行 01.py 文件
0 18-23/1 * * *

文本处理工具 - awk

语法格式

awk 选项 '动作' 文件列表

常用方式

Linux命令  |   awk  选项  '动作'

使用方法

# 示例
awk '{print "abc"}' ip.txt
# 思考: 这个会输出什么？
df -h | awk '{print $1}'

# -F：指定分隔符
awk -F ":" '{print $2}'  # 显示 : 分隔后的第2列

# 示例1: 输出当前Linux操作系统的所有用户
# 练习:
输出本机的IP地址

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hR7rtByU-1585101980491)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1579066959237.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZEe141Xe-1585101980492)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1579067083388.png)]

练习

# nginx的访问日志目录 ： /var/log/nginx/access.log
问题1: 把访问过自己的IP地址输出
# awk '{print $1}' access.log
问题2: 统计有多少个IP访问过我
# awk '{print $1}' access.log | sort | uniq | wc -l
问题3: 统计每个IP地址的访问次数,输出前10个访问量最大的用户IP
# awk '{print $1}' access.log | sort | uniq -c | sort  -rn -k 1 | head -10

grep命令之正则表达式

# 正则表达式元字符集 - 使用grep命令
^    :   以 ... 开头
$    :   以 ... 结尾
.    :   任何1个字符
*    :   任意0到多个字符

# 正则表达式扩展字符集 - 使用 egrep 命令
+    :   1次或多次
{n} :   出现n次
()  ：  分组

[a-z]  :  所有小写字母
[A-Z]  :  所有大写字母
[a-Z]  :  所有字母
[0-9]  : 所有数字
[a-Z0-9]  : 所有的字母和数字

应用场景

# Mac地址正则匹配
([0-9a-fA-F]{2}:){5}[0-9a-fA-F]{2}
ifconfig | egrep "([0-9a-fA-F]{2}:){5}[0-9a-fA-F]{2}" | awk '{print $2}'

常见服务的端口号

# 需要记住
MySQL - 3306
MongoDB - 27017
Redis - 6379
redis-sentinel - 26379
SSH - 22
HTTP - 80
NGINX - 80
HTTPS - 443
TELNET - 23
FTP - 21

使用命令必须养成的习惯

1、tab键自动补全
2、Ctrl + l : 清理屏幕
3、Ctrl + c : 终止当前命令的执行

常用远程连接软件

# 终端仿真程序，其实就是Windows下登录UNIX或Linux服务器主机的软件，支持ssh、telnet
1、Xshell
2、Secure CRT

# xshell实现文件互传
1、xshell图形界面: 新建文件传输
2、安装: lrzsz,是一款可在linux里可代替ftp上传和下载的程序

最最最常用命令

1、ps -aux | grep servername
2、sudo kill PID
3、chmod 644 filename
4、chown user:group filename
5、ssh user@IP
6、scp filename user@IP:directory
7、df -h
8、find directory -name filename

周期性计划任务

# 1、进入周期性计划任务
crontab -e (首次进入按2 - 找vim)

# 设置周期性计划任务
* * * * *  : 五个*号代表  分 时 日 月 周
分 ：0-59
时 ：0-23
日 ：1-31
月 ：1-12
周 ：0-6

# 开始设置 :
1、'*' 代表所有可能值
2、',' 指定多个时间点
3、'/' 指定时间间隔频率
4、'-' 指定一个时间段

# 示例
1、每月的1日和5日两天: * * 1,5 * *
2、每10分钟: */10 * * * *
3、0点-6点每小时执行: 0 0-6/1 * * *
4、每分钟执行: * * * * *

# 练习
1、每小时的第3分钟和第15分钟执行
3,15 * * * *
2、每周六、周日的0点执行一个 01.py 文件
0 0 * * 6,0
6、每天18:00到23:00之间每小时执行 01.py 文件
0 18-23/1 * * *

文本处理工具 - awk

语法格式

awk 选项 '动作' 文件列表

常用方式

Linux命令  |   awk  选项  '动作'

使用方法

# 示例
awk '{print "abc"}' ip.txt
# 思考: 这个会输出什么？
df -h | awk '{print $1}'

# -F：指定分隔符
awk -F ":" '{print $2}'  # 显示 : 分隔后的第2列

# 示例1: 输出当前Linux操作系统的所有用户
# 练习:
输出本机的IP地址

练习

# nginx的访问日志目录 ： /var/log/nginx/access.log
问题1: 把访问过自己的IP地址输出
# awk '{print $1}' access.log
问题2: 统计有多少个IP访问过我
# awk '{print $1}' access.log | sort | uniq | wc -l
问题3: 统计每个IP地址的访问次数,输出前10个访问量最大的用户IP
# awk '{print $1}' access.log | sort | uniq -c | sort  -rn -k 1 | head -10

文本处理工具 - sed

# 1、定义
非交互式文本编辑器,逐行处理

# 2、语法格式
sed [选项] '条件指令' 文件名
指令: 增删改查

# 查 - p
sed -n 'p' file.txt      # 打印所有内容
sed -n '1p' file.txt     # 打印第1行内容
sed -n '1,3p' file.txt   # 打印1-3行内容
sed -n '1p;3p' file.txt  # 打印1和3行内容

# 删 - d
sed -i '1d' file.txt     # 删除第1行内容
sed -i '$d' file.txt     # 删除最后1行内容
sed -i '1,3d' file.txt   # 删除第1-3行内容
sed -i '1d;3d' file.txt  # 删除第1和第3行内容

# 改 - c
sed -i 'c内容' file.txt   # 修改所有行内容
sed -i '1c内容' file.txt  # 修改第1行内容
sed -i -e '1c李白' -e '3c杜甫' file.txt
# 修改第1行为李白,修改第3行为杜甫

# 增加 - a i
a: 在当前处理行的下一行插入
i: 在当前处理行的上一行插入
sed -i 'a李白' file.txt  # 每一行的下一行都李白
sed -i '1a李白' file.txt
sed -i '3i杜甫' file.txt

# 增-a 删-d 改-c 查-p

# 替换 - s
sed -i '条件/原内容/新内容/选项' file.txt
选项: g 表示全局替换  i 忽略字母大小写
# 只替换每行中第一个李白
sed -i '1,3s/李白/李清照/' file.txt
# 替换每行中所有李白,加 g 选项
sed -i '1,3s/李白/李清照/g' file.txt

grep命令之正则表达式

# 正则表达式元字符集 - 使用grep命令
^    :   以 ... 开头
$    :   以 ... 结尾
.    :   任何1个字符
*    :   0次或多次

# 正则表达式扩展字符集 - 使用 egrep 命令
+    :   1次或多次
{n} :   出现n次
()  ：  分组

[a-z]   :  所有小写字母
[A-Z]  :  所有大写字母
[a-Z]  :  所有字母
[0-9]  : 所有数字
[a-Z0-9]  : 所有的字母和数字

应用场景

# Mac地址正则匹配
([0-9a-fA-F]{2}:){5}[0-9a-fA-F]{2}
ifconfig | egrep "([0-9a-fA-F]{2}:){5}[0-9a-fA-F]{2}" | awk '{print $2}'# 批量处理headers和formdata的正则表达式？
(.*): (.*)

• 点赞 1
• 收藏
• 分享
• 文章举报

Python数分与数挖 发布了13 篇原创文章 · 获赞 11 · 访问量 991 私信 关注