sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：

　　sort [-bcfMnrtk][源文件][-o 输出文件] 

补充说明：sort可针对文本文件的内容，以行为单位来排序。

参　　数：

  -b   忽略每行前面开始出的空格字符。

  -c   检查文件是否已经按照顺序排序。

  -f   排序时，忽略大小写字母。

  -M   将前面3个字母依照月份的缩写进行排序。

  -n   依照数值的大小排序。

  -o<输出文件>   将排序后的结果存入指定的文件。

  -r   以相反的顺序来排序。

  -t<分隔字符>   指定排序时所用的栏位分隔字符。

  -k  选择以哪个区间进行排序。

列子

进行/boot目录，根据文件大小的顺序输出，从大到小的顺序输出

ls -lA |grep ^- |sort -t ' ' -nrk 5

ls -lA |grep ^- |sort -nrk 5

-rw-r--r--. 1 root root 43566364 5月 29 2016 initramfs-0-rescue-394ad4829688457ab9375559e4997ede.img

-rw-r--r--. 1 root root 19813159 5月 29 2016 initramfs-3.10.0-327.el7.x86_64.img

-rw-r--r--. 1 root root 17740790 5月 29 2016 initramfs-3.10.0-327.el7.x86_64kdump.img

-rwxr-xr-x. 1 root root 5156528 5月 29 2016 vmlinuz-0-rescue-394ad4829688457ab9375559e4997ede

-rwxr-xr-x. 1 root root 5156528 11月 20 2015 vmlinuz-3.10.0-327.el7.x86_64

-rw-------. 1 root root 2963044 11月 20 2015 System.map-3.10.0-327.el7.x86_64

-rw-r--r--. 1 root root 602631 5月 29 2016 initrd-plymouth.img

-rw-r--r--. 1 root root 252612 11月 20 2015 symvers-3.10.0-327.el7.x86_64.gz

-rw-r--r--. 1 root root 126426 11月 20 2015 config-3.10.0-327.el7.x86_64

-rw-r--r--. 1 root root 166 11月 20 2015 .vmlinuz-3.10.0-327.el7.x86_64.hmac

 

ps -aux命令可以看到系统中所有运行的进程信息

找出3个占用cpu百分比最多的进程名，最后将进程名输出

ps -aux|sed '1d' |sort -nrk 3 |head -n 3

找出3个占用内存百分比最多的进程名，最后将进程名输出

ps -aux|sed '1d' |sort -nrk 4|head -n 3

df命令是查看系统磁盘的使用情况的，通过上网或者--help的方法查询df命令的使用

只输出最大的磁盘名

df -m|sort -nrk 2|head -n 1 |awk '{print $1}'

输出使用磁盘百分比最大的挂载点

df -h|sort -nrk 5 |head -n 1|awk '{print $NF}'

输出可用空间最大的磁盘的挂载点

df -m|sort -nrk 4 |head -n 1|awk '{print $NF}'

 

awk

• • -F fs or --field-separator fs
    指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
  • -v var=value or --asign var=value
    赋值一个用户定义变量。
  • -f scripfile or --file scriptfile
    从脚本文件中读取awk命令。
  • -mf nnn and -mr nnn
    对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
  • -W compact or --compat, -W traditional or --traditional
    在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
  • -W copyleft or --copyleft, -W copyright or --copyright
    打印简短的版权信息。
  • -W help or --help, -W usage or --usage
    打印全部awk选项和每个选项的简短说明。
  • -W lint or --lint
    打印不能向传统unix平台移植的结构的警告。
  • -W lint-old or --lint-old
    打印关于不能向传统unix平台移植的结构的警告。
  • -W posix
    打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
  • -W re-interval or --re-inerval
    允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
  • -W source program-text or --source program-text
    使用program-text作为源代码，可与-f命令混用。
  • -W version or --version
    打印bug报告信息的版本。

1、去重，有多行一样的只显示一行

sort 1.txt | uniq

2、输出行重复的次数，按重复次数从大到小的顺序输出

cat 1.txt |sort |uniq -c //显示每一项重复的次数

cat 1.txt |sort |uniq -c ｜sort -rnk 1

3、输出独一无二的行，即没有重复的行

cat test.txt |sort |uniq -u

 

windows:

1、excel、word

linux：

、

通过uniq --help或者上网去学习uniq命令的使用

##################################################################################

unix2dos //从linux转换到windows 原理：在换行符前面加上回车符^M

dos2unix //从windows转换到linux 原理：去掉每一行的回车符^M

grep  '模式'   文件grep   [选项]  '模式'   文件选项-n     显示被匹配到的内容所在的行号-o     只显示被匹配到的内容-v     取反，取匹配到行之外的外，模式可以使用单引号，也可以使用双引号一般我们就使用单引号模式1、可以一个明确的字符或者字符串如：grep  'root'   file           //会将含有root的行全部输出    grep  -n   'root'   file      //将含有root行输出，并打印行号	基本正则表达式，	元字符^      行起始标记                                  如^root匹配以root开头的行  $      行尾标记                                    如root$匹配以root结尾的行.      任意一个字符                                如wor.d能够匹配world，worad、worbd等，因为.能够匹配任意一个字符[]     匹配包含在[字符]之中任意一个字符	           如a[ab]c能够匹配aac或abc[^]    匹配[^字符]里面字符之外的任意一个字符       如a[^ac]c，能够匹配a.c，但是.不能够是a或者c，  能匹配 a1c 、a2c 、 afc等只要中间不是a或者c都可以\      转义字符                                    可以将上面的无字字符进行转义，如'\$'可以忽略$的特殊意义*      匹配之前的项0次或者多次                     如ft*  可以匹配f     ft     ftt     fttt        fttttttttttttttttt             【.*    任意个字符，0个或者多个】安装httpd，将它的主配置文件，复制到/opt目录练习：1、只查看文件中含有Listen的行2、只查看文件中以Listen开头的行3、只查看以数字结尾的行4、查看以
    <开头并且以>
     结尾的行5、查看文件中含有if或者If的行                     ##grep '[Ii]f'  file.txt6、不显示文件中以#号开头的所有内容                ##grep '^#'  -v7、不显示文件里的空白行                           ##grep '^$'  -v8、使用ifconfig命令结合grep命令的方式，输出系统中所有的网卡9、使用date命令结合grep的方式，输出系统中的时间   ##date |grep '[0-9][0-9]:[0-9][0-9]:[0-9][0-9]' -o扩展的正则元字符(要使用扩展正则表达式，3种方式，1、使用egrep命令2、使用grep  -E 3、使用grep命令，但是遇到元字符的时候、就要加上转义\?        匹配之前的项0次或者1次         +        匹配之前的项1次或者多次           {n}      匹配之前的项n次{n,m}    匹配之前的项n到m次，包括n或者m{n,}     匹配之前的项n任意次()       "组"字符串，如(ab)*，代表0个或者多个ab的组合|        或者，即匹配|两边的任意一项<>       
     <内容>
      中的内容必须以单词出现，
      <和>
       都需要加上转义字符练习：1、查看文件中，以2个数字结尾的行2、显示/etc/passwd文中的两位数或者三位数3、通过shell脚本，让用户输入，判断用户输入的是否是一个合格的纯数字a-z       ==     [:lower:]A-Z       ==     [:upper:]a-zA-Z    ==     [:alpha:]0-9       ==     [:digit:]特殊符    ==     [:punct:]\s     表示空白符1、过滤下面文本的ip地址aoot:x:0:0:Root:/aoot:$/bin/bashroot:x:0:0:root:/root:/bin/bashx:0:0:root:/root:/bin/bash/rootroot:0:0:root:/root:/bin/bash/rootftp:x:14:50:FTP ^User:/var/ftp:/sbin/nologinfap:x:14:50:FTP 256.258.1.2  U$ser:/var/ftp:/sbin/nologin192.168.100.140   252130613a10.0.0.127   13608001910172.16.299.1  00.00.00.00:00:00169.169.1.2aabc$[第一段].[第二段].[第三段].[第四段]1位数：0-92位数：10－993位数：1xx    200-249    250-255tr的作用1、替换，只能替换单个字符echo abc | tr  'a-z'  'A-Z'a--->Ab--->Bcat file | tr 'a-z'  'A-Z'    将文本里的全部小写转换成大小cat file | tr 'A-Z'  'a-z'    将文本里的全部小写转换成大小2、删除作用，也只是删除单个字符tr   -d    '参数'tr   -d  'a-z'   删除全部的小写字母tr   -d  '0-9'   删除全部的数字3、压缩后再替换tr -s  '\n'   ','        #先将多个连续的\n换行符压缩，压缩之后再进行替换
      
     
    

.          任意单个字符*          匹配前面的项0次到多次[]         匹配[]内的任意单个字符[^]        排除[]内的任意单个字符^          以什么开头$          以什么结尾()       可以加入元字符，串组       ?          匹配前面的项0次到1次+          匹配前面的项1次到多次{n,m}      匹配前面的项n次到m次<>          grep匹配的原则：采用贪婪模式，会进行最长的匹配-B  n    将匹配内容所有的行的前面n行也进行输出-A  n    将匹配内容所有的行的后面n行也进行输出-C  n    将匹配内容所有的行的前后n行也进行输出-v       将匹配内容所有行之外的行输出-E       启动扩展正则支持-i       忽略大小写-n       将匹配的模式所有的行号也进行输出-o       仅显示被匹配到的内容-c       统计被匹配到的内容一共有多少-f  file    使用指定的文件里的模式，如果有项，写到多行，最终进行或关系的查询-H       输出每一个被匹配到的行前面加上它所在的文件名-l       仅仅输出匹配到的模式所在的文件名，只输出文件名-L       ~~~~~~~~~~~~~~~~-w       当后面的模式为一个单词，才算匹配到文本处理grep   vim   cat  tac   head  -n  a   ##输出前面a行tail  -n  a   ##输出后面a行sed命令sed  [选项]   'command'    ......动作：p      打印输出d      删除操作a      在指定的行后面添加一行内容i      在指定的行前面添加一行内容1、查看操作sed  -n   '5p'   file     //只查看文件的第5行sed  -n   '3,5p'  file    //查看文件的第3到第5行sed -n '5,$ p'   file     //打印第5到最后一行2、删除操作sed '3 d' 1.txt       //删除文件的第3行 ，然后将内容进行输出，不是直接操作的文件，sed '3,5 d' 1.txtsed '3,$ d' 1.txtsed在操作文件，只有加上-i选项才是直接操作3、添加操作sed  '2a word'  file           //在第二行后面添加一行，内容为word   ,即添加的内容为第三行sed  '3i word'  file           //在第三行前面添加一行，内容为word   ,即添加的内容为第三行思考：怎么在指定行后面添加2行内容3、查找操作sed  -n  '/root/p' file       //只输出root关键字的行sed  '/root/d'  file                    //将含有root的行删除，然后输出,,加上-i可以操作原文件4、替换操作sed 's/root/new/'   file            //将文件中的root替换成new，每行只替换一次，加上-i可以操作原文件sed 's/root/new/g'   file            //将每行的所有root全部替换成newsed '3,4s/root/new/g' 1.txt          //只替换第3到第4行的root为new练习：1、selinux配置文件的SELINUX默认的值为enforcing，使用sed将其修改为permissive将/etc/passwd复制到/opt目录进行操作2、使用sed命令输出/etc/passwd的第5到第7行的内容4、将passwd文件中第2到第3行的所有d替换成DD5、只输出passwd文件的第6段内容cat /etc/passwd|grep '/.*' -o |sed 's/:.*//'cat /etc/passwd | cut -d ':' -f 6了解一下cut命令的使用方法思考:1.将/etc/passwd最后一段全部改成/bin/bashcat /etc/passwd|sed  's/\(.*:\)\(.*\)/\1\/bin\/bash/'cat /etc/passwd|grep '\(.*:\)' -o  |sed 's/$/\/bin\/bash/'\1  代表前面第一个小括号中匹配的内容\2  代表前面第二个小括号中匹配的内容&   代表所有匹配的内容2.将/etc/passwd每行前面的用户名，添加到最后一段如：root:x:0:0:root:/root:/bin/bash处理后应该为    root:x:0:0:root:/root:/bin/bash:root	3.一文本内容如下：192.168.100.2172.16.5.410.101.2.5133.37.25.21通过命令将其处理成如下效果(转换到一行，通过逗号隔开，每行内容用单引号引起来):'192.168.100.2','172.16.5.4','10.101.2.5','133.37.25.21'cut命令，以指定分隔符分隔的段输出cat /etc/passwd |cut -d ':' -f 7    //只看第7段的内容cat /etc/passwd |cut -d ':' -f 1,3,5   //只看第1段、第3段、第5段cut -d ':' -f 1-5   //第一到第5段cut -c  1-5     //输出每行前面的第1到第5个字符cut -c 3-       //输出第3个字符到最后一个字符 tac cat反向输出