了解一下shell中的小工具

了解一下shell中的小工具

一、cut工具使用介绍

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一

选项：
-b：按字节截取
-c：按字符截取，常用于中文
-d：指定以什么为分隔符截取，默认为制表符
-f：通常和-d一起

cat /etc/passwd | cut -d’:’ -f 1 //输出文件中以：分隔的，每一行中第一列的内容

cat /etc/passwd | cut -d’:’ -f 3 //输出文件中以：分隔的，每一行中第三列的内容

cat /etc/passwd | cut -d’:’ -f1,3 //输出文件中以：分隔的，每一行中第一列和第三列的内容

cat /etc/passwd | cut -d’:’ -f 1-3 //输出文件中以：分隔的，每一行中第一列到第三列的内容

who | cut -b 3 //从结果中截取第三个字节输出

who | cut -c 3 //从结果中截取第三个字符输出，对中文比较友好，其他可能会乱码

注意：cut只擅长于处理单个字符为间隔的文本

二、sort工具介绍

是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样

语法：

sort [选项] 参数

常用选项
-t：指定分隔符，默认使用[Tab]吧 键或空格分隔
-k：指定排序区域，哪个区间排序
-n：按照数字进行排序，默认是以文字形式排序
-u：等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-r：反向排序，默认是升序，-r就是降序
-o：将排序后的结果转存至指定文件

sort 2.txt //不加任何选项默认按第一列升序，字母的话就是从a到z由上

sort -n -t: -k3 passwd.txt //以冒号为分隔符，以数字大小排列方式对第三列排序（升序）

sort -nr -t: -k3 passwd.txt //以冒号为分隔符，以数字大小对第三列排序（r为降序）

sort -nr -t: -k3 passwd.txt -o passwd.bak //将输出结果输出到passwd.bak文件而不是输出到屏幕上

sort -u passwd.txt //去掉文件中重复的行（重复的行可以是不连续的）

三、uniq工具介绍

主要用于去除连续的重复行
注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

语法
uniq [选项] 参数

常用选项
-c：对重复的行进行计数，出现过一次的也计数；
-d：仅显示重复行；
-u：仅显示出现一次的行

cat fruit | uniq -c //统计重复行的次数，不连续的重复行他不算做重复行

cat fruit | sort | uniq -c //结合sort默认排序然后统计重复行就是我们想要的效果

cat fruit | sort | uniq -d //结合sort使用，过滤出重复行

cat fruit | sort | uniq -u //结合sort使用，过滤出不重复的行

cat fruit | sort | uniq //结合sort使用，去掉重复的行

cat fruit | sort -u //也可以直接用sort -u，去掉重复行输出

who | awk ‘{print $1}’| uniq //输出去掉重复用户的内容

last | awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 1}̲' | sort | uniq…" | grep -v wtmp

//查看登陆过系统的用户

三、tr工具介绍

它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符

语法
用法：tr [选项]… SET1 [SET2]
从标准输入中替换、缩减或删除字符，并将结果写到标准输出。

常用选项
-d 删除字符
-s 删除所有重复出现的字符，只保留第一个

cat fruit | tr ‘a-z’ ‘A-Z’ //把文件中的所有小写字母转换成大写字母输出

cat fruit | tr ‘apple’ ‘APPLE’ //把文件中apple转换成APPLE输出

cat fruit | tr ‘a’ ’ ’ //把替换的字符用单引号引起来，包括特殊字符

cat fruit | tr ‘a’ ‘/’

cat fruit | tr ‘ap’ ‘/’ //多个字符中的每个替换成一个/

cat fruit | tr ‘apple’ ‘star’ //a替换成s，p替换成a，le替换成r

cat fruit | tr “'” ‘/’ //如果想替换单引号则需要用双引号把单引号引起来，反斜杠转义也不行

cat fruit | tr -d ‘a’ //删除所有a

cat fruit | tr -d ‘apple’ //把所有含有这5个字母的都删除

cat fruit | tr -d ‘\n’ //删除换行符

cat fruit | tr -s ‘p’ //对p字符去重，只保留第一个

cat fruit | tr -s ‘\n’ //遇到多个回车只保留一个回车，相当于去除空行

四、expect工具使用

expect是建立在tcl语言基础上的一个工具，常被用于进行自动化控制和测试，解决shell脚本中交互相关的问题

expect它是一个程序，所以它也是需要提前安装才可以使用的
yum -y install expect //yum或者光盘安装都可

rpm -q expect
rpm -q tcl

基本命令:
(1)脚本解释器
expect脚本中首先引入文件，表明使用的是哪一个shell。

#!/usr/bin/expect

(2) spawn
spawn后面通常跟一个Linux执行命令，表示开启一个会话、启动进程，并跟踪后续交互信息。
例: spawn passwd root

( 3 ) expect
判断上次输出结果中是否包含指定的字符串，如果有则立即返回，否则就等待超时时间后返回;只能捕捉由spawn启动的进程的输出;用于接收命令执行后的输出，然后和期望的字符串匹配

( 4 ) send
向进程发送字符串，用于模拟用户的输入;该命令不能自动回车换行，一般要加\r(回车）或者\n

案例:
方式一:
expect “密码”{ send “abc123\r”} #except与send同一行时send部分要有{}

方式二:
expect"密码"
send “abc123\r” #换行send部分不需要有{}

方式三:
expect支持多个分支
只要匹配了其中一个情况，执行相应的send语句后退出该expect语句

expect

“密码1”{ send “abc123\r”}
“密码2”{ send “123456\r”}
“密码3”{ send “123123\r”}

(5）结束符expect eof
表示交互结束，等待执行结束，退回到原用户，与spawn对应。
比如切换到root用户，expect脚本默认的是等待10s，当执行完命令后，默认停留10s后，自动切回了原用户

interact
执行完成后保持交互状态，把控制权交给控制台，会停留在目标终端而不会退回到原终端，这个时候就可以手工操作了，interact后的命令不起作用，比如interact后添加exit，并不会退出root用户。而如果没有interact则登录完成后会退出，而不是留在远程终端上。
使用interact会保持在终端而不会退回到原终端，比如切换到root用户，会一直在root用户状态下;比如ssh到另一服务器，会一直在目标服务器终端，而不会切回到原服务器。

注意: expect eof 与 interact只能二选一。

( 6 ) set
expect 默认的超时时间是10秒，通过 set 命令可以设置会话超时时间，若不限制超时时间则应设置为-1。
例: set timeout 30

( 7) exp_continue
exp_continue 附加于某个expect判断项之后，可以使该项被匹配后，还能继续匹配该expect判断语句内的其他项。exp_continue类似于控制语句中的 continue 语句。表示允许expect继续向下执行指令。
例如:下例将判断交互输出中是否存在yes/no 或password。如果匹配 yes/no则输出 yes 并再次执行判断;如果匹配password则输出abc123 并结束该段expect语句。
expect {
" (yes/no)"{ send “yes\r”; exp _continue ; }
“*password” { set timeout 300; send “abc123\r”;}

}

注意:使用exp continue时，如果跟踪像passwd 这样的输入密码后就结束进程的命令，expect{}外不要再加上expect eof
因为spawn进程结束后会默认向expect发送eof，会导致后面的 expect eof执行报错

注：表示允许用户进行交互操作，一直保持会话连接

(8 ) send user
send_ user表示回显命令，相当于echo

(9)接收参数
expect脚本可以接受从bash命令行传递的参数，使用[lindex $argv n]获得。其中n从0开始，分别表示第一个,第二个,第三个…参数。例:
set hostname [ lindex $argv 0]
相当于hostname=$1
set password [ lindex $argv 1]
相当于password=$2

用expect编写脚本
例1：ssh无交互登录到远程服务器

[root@sjserver ~]# vim ssh.sh

#!/usr/bin/expect //这里需要用expect自己的解释器，注意不要写成bash否则无法识别

spawn ssh root@192.168.100.100 //开启一个程序，这个程序是ssh远程登录

expect { //捕获内容，当出现password的时候，就会向程序发送密码，默认是不换行的，所以需要\r回车换行，多个条件需要花括号括起来，注意格式问题！
“password:”
{ send “123456\r”; }
}

interact //交互，否则会直接退出远程服务器

[root@lu /opt]# chmod +x expect.sh //需要加执行权限
[root@lu /opt]# ./ssh.sh
spawn ssh root@192.168.100.100
root@192.168.100.100’s password:
Last login: Mon Jul 27 23:31:00 2020 from 192.168.100.120

例2
如果想要在对方服务器上进行一下操作后再退出可执行以下脚本
[root@localhost ~]# vim expect.sh

#!/usr/bin/expect

spawn ssh root@192.168.245.211

expect {
“password:”
{ send “123456\r”; }
}

expect “#” //当捕获到#的时候
send “ls\r” //执行ls命令
send “ifconfig ens33\r” //执行ifconfig ens33命令
send “exit\r” //执行完exit退出登陆

expect eof //不需要进行交互了，意味着结束expect程序，如果不写的话不会执行操作直接退出；如果不写，写interact也无法在对方机器上执行命令，eof可以替换

定义和引用变量
用set关键字定义变量，变量名和变量的值中间用空格分开，其他用法与shell脚本一致

#!/usr/bin/expect

set user root
set ip 192.168.245.211
set pass 123456

引用位置变量

#!/usr/bin/expect

set user root
set ip [lindex $argv 0] //设置第一个位置变量为ip
set pass [lindex $argv 1] //设置第二个位置变量为登陆密码

spawn ssh $user@$ip

expect {
“password:”
{ send “$pass\r”; }
}

expect “#”
send “ls\r”
send “ifconfig ens33\r”
send “exit\r”

expect eof

[root@localhost ~]# ./expect.sh 192.168.245.211 123456 //执行时需要加位置变量

还可以定义其他参数，例如超时时间，日志等

超时时间

set timeout 20 //登陆超时多少秒退出

开启日志文件

log_file test.log //日志记录操作

显示信息

log_user 1 //1为屏幕输出信息，0为不输出

ssh免交互登录另外一种写法

#!/usr/bin/expect

set timeout 60
log_file test.log
log_user 1
set ip [lindex $argv 0]
set password [lindex $argv1]spawnsshroot@${ip}
expect {
“(yes/no)”
{send “yes\r”; exp_continue} “*password”
{send “$password\r”}
}
interact

嵌入执行模式，将expect过程融入Shell 当中，方便执行和处理
在shell脚本中调用expect
1、创建用户并设置用户密码
例1：

#!/bin/bash

username=$1

useradd $username

/usr/bin/expect <<-EOF

spawn passwd $username
expect {
“密码” //注意：获取的内容和发送的内容不能在同一行否则执行不成功
{send “123456\r”;exp_continue}
“新的密码”
{send “123456\r”;}
}
EOF

扩展

#!/bin/bash

user=$1
password=$2
useradd $user
expect << EOF
spawn passwd $user #开启一个进程跟踪 passwd 命令，expect 只能捕捉该进程信息

expect “新的*” #匹配输出信息"新的*"
send “KaTeX parse error: Can't use function '\r' in math mode at position 11: {password}\̲r̲" # 自动输入…{password}\r” #自动输入密码
expect eof; #等待结束标记
EOF

2、ssh远程到服务器
案列1

#!/bin/bash

expect -c " //需要用expect -c调用expect程序
spawn ssh root@192.168.245.211
expect \“password:\” { send \“123456\r\” }
interact
"

#!/bin/bash

expect -c "
spawn ssh root@192.168.245.211
expect \“password:\” {send \“123456\r\”}
expect \“]#\” {send \“ifconfig\r\”}
expect \“]#” {send “exit\r”}
expect eof
"

实现ssh自动登录
案列2

#!/usr/bin/expect

set timeout 5
set hostname [lindex $argv 0]
set password [lindex $argv 1]
spawn ssh $hostname

expect {
“Connection refused” exit #连接失败情况，比如对方ssh服务关闭
“Name or service not known” exit #找不到服务器，比如输入的IP地址不正确
“to continue” {send “yes\r”;exp_continue}
“password:” {send “$password\r”}

}
interact
exit

3.利用 expect 完成 FTP 登录过程

#!/usr/bin/expect -f

set timeout 10
spawn ftp 192.168.8.33
expect “Name*”
send “ftp\r”
expect “Password:"
send “\r”
expect "ftp>”
interact
stname [lindex $argv 0]
set password [lindex $argv 1]
spawn ssh $hostname

expect {
“Connection refused” exit #连接失败情况，比如对方ssh服务关闭
“Name or service not known” exit #找不到服务器，比如输入的IP地址不正确
“to continue” {send “yes\r”;exp_continue}
“password:” {send “$password\r”}

}
interact
exit

3.利用 expect 完成 FTP 登录过程

#!/usr/bin/expect -f

set timeout 10
spawn ftp 192.168.8.33
expect “Name*”
send “ftp\r”
expect “Password:"
send “\r”
expect "ftp>”
interact
expect eof