7. 管道、环境变量、常用命令

7.1 管道

管道类似于文件重定向，可以将前一个命令的stdout重定向到下一个命令的stdin。

管道命令仅处理stdout，会忽略stderr。
管道右边的命令必须能接受stdin。
多个管道命令可以串联。

与文件重定向的区别

文件重定向左边为命令，右边为文件。
管道左右两边均为命令，左边有stdout，右边有stdin。

|是管道链接符 用于两个管道之间的链接与通信

# 统计当前目录下所有python文件的总行数，其中find、xargs、wc等命令可以参考常用命令这一节内容。
find . -name '*.py' | xargs cat | wc -l
# find . -name “.py | cat：获取为.py结尾的文件名
# find . -name “.py | xargs cat：获取.py文件的内容
# wc -l：统计行数
# xargs将stdin的内容用空行隔开，作为cat的命令行参数，传给cat

7.2 环境变量

环境变量类似于全局变量，可以被各个进程访问到。我们可以通过修改环境变量来方便地修改系统配置。

查看
列出当前环境下的所有环境变量：

env  # 显示当前用户的变量
set  # 显示当前shell的变量，包括当前用户的变量;
export  # 显示当前导出成用户变量的shell变量

输出某个环境变量的值：

echo $PATH

修改
为了将对环境变量的修改应用到未来所有环境下，可以将修改命令放到~/.bashrc文件中。
修改完~/.bashrc文件后，记得执行source ~/.bashrc，来将修改应用到当前的bash环境下。

常见环境变量
1. HOME：用户的家目录。
2. PATH：可执行文件（命令）的存储路径。路径与路径之间用:分隔。当某个可执行文件同时出现在多个路径中时，会选择从左到右数第一个路径中的执行。下列所有存储路径的环境变量，均采用从左到右的优先顺序。
3. LD_LIBRARY_PATH：用于指定动态链接库(.so文件)的路径，其内容是以冒号分隔的路径列表。
4. C_INCLUDE_PATH：C语言的头文件路径，内容是以冒号分隔的路径列表。
5. CPLUS_INCLUDE_PATH：CPP的头文件路径，内容是以冒号分隔的路径列表。
6. PYTHONPATH：Python导入包的路径，内容是以冒号分隔的路径列表。
7. JAVA_HOME：jdk的安装目录。
8. CLASSPATH：存放Java导入类的路径，内容是以冒号分隔的路径列表。

7.3 常用命令

linux-command

Linux命令手册

7.3.1 系统状况

1. top：查看所有进程的信息（Linux的任务管理器）

   打开后，输入M：按使用内存排序
   打开后，输入P：按使用CPU排序
   打开后，输入q：退出

2. df -h：查看硬盘使用情况

3. free -h：查看内存使用情况

4. du -sh：查看当前目录占用的硬盘空间

5. ps aux：查看所有进程

   ps aux | grep xxx：使用管道查看具体xxx进程

6. kill -9 pid：杀死编号为pid的进程

   传递某个具体的信号：kill -s SIGTERM pid

7. netstat -nt：查看所有网络连接

   netstat -nlp | grep 22：查看22端口号是否被占用

8. w：列出当前登陆的用户

9. ping www.baidu.com：检查是否连网

7.3.2 文件权限

1. chmod：修改文件权限

   drwxrwxrwx10位

   第一位d是不是文件夹，超链接

   第一组rwx：自己——可读，可写，可执行

   第二组rwx：同组——可读，可写，可执行

   第三组rwx：其他——可读，可写，可执行

   chmod +x xxx：给xxx添加可执行权限
   chmod -x xxx：去掉xxx的可执行权限
   chmod 777 xxx：将xxx的权限改成777
   chmod 777 xxx -R：递归修改整个文件夹的权限

7.3.3 文件检索

1. find /path/to/directory/ -name '*.py'：搜索某个文件路径下的所有*.py文件

2. grep xxx：从stdin中读入若干行数据，如果某行中包含xxx，则输出该行；否则忽略该行。

   find XXX/ -name '*.cpp | xargs cat | grep xxx在XXX文件夹的cpp文件搜索xxx

3. wc：统计行数、单词数、字节数

   既可以从stdin中直接读入内容；也可以在命令行参数中传入文件名列表；
   wc -l：统计行数
   wc -w：统计单词数
   wc -c：统计字节数

4. tree：展示当前目录的文件结构

   tree /path/to/directory/：展示某个目录的文件结构
   tree -a：展示隐藏文件

5. ag xxx：搜索当前目录下的所有文件，检索xxx字符串

   ag命令的帮助文档

6. cut：分割一行内容

   从stdin中读入多行数据
   echo $PATH | cut -d ':' -f 3,5：输出PATH用:分割后第3、5列数据
   echo $PATH | cut -d ':' -f 3-5：输出PATH用:分割后第3-5列数据
   echo $PATH | cut -c 3,5：输出PATH的第3、5个字符
   echo $PATH | cut -c 3-5：输出PATH的第3-5个字符

7. sort：将每行内容按字典序排序

   可以从stdin中读取多行数据
   可以从命令行参数中读取文件名列表

8. xargs：将stdin中的数据用空格或回车分割成命令行参数

   find . -name '*.py' | xargs cat | wc -l：统计当前目录下所有python文件的总行数

7.3.4 查看文件内容

1. more：浏览文件内容

   回车：下一行
   空格：下一页
   b：上一页
   q：退出

2. less：与more类似，功能更全

   回车：下一行
   y：上一行
   Page Down：下一页
   Page Up：上一页
   q：退出

3. head -3 xxx：展示xxx的前3行内容

   同时支持从stdin读入内容

4. tail -3 xxx：展示xxx末尾3行内容

   同时支持从stdin读入内容
   tail -n 5 xxx：查看xxx尾部5行内容 (常用于日志)
   tail -f xxx：实时追踪该xxx文档的所有更新 (常用于 flum 采集数据)

7.3.5 用户相关

1. history：展示当前用户的历史操作。内容存放在~/.bash_history中

7.3.6 工具

1. md5sum：计算md5哈希值

   可以从stdin读入内容
   也可以在命令行参数中传入文件名列表；

2. time command：统计command命令的执行时间
3. ipython3：交互式python3环境。可以当做计算器，或者批量管理文件。

   ! echo "Hello World"：!表示执行shell脚本

4. watch -n 0.1 command：每0.1秒执行一次command命令
5. tar：压缩文件

   tar -zcvf xxx.tar.gz /path/to/file/*：压缩
   tar -zxvf xxx.tar.gz：解压缩

   tar -zxvf xxx.tar.gz -C yyy：解压到指定目录 yyy 中

6. diff xxx yyy：查找文件xxx与yyy的不同点

7.3.7 安装软件

1. sudo command：以root身份执行command命令
2. apt-get install xxx：安装软件
3. pip install xxx --user --upgrade：安装python包

7.4 创建作业 & 测试作业的正确性

homework 7 create 可以重新创建所有lesson_7的作业
homework 7 create id 可以单独创建lesson_7的第id个作业. e.g.

homework 7 create 0 可以只重新创建lesson_7的第0个作业

homework 7 test 可以评测lesson_7的所有作业

7.5 作业

创建好作业后，先进入文件夹/home/acs/homework/lesson_7/，然后：

homework_0

(0) 进入homework_0文件夹，然后：
[1] 编写可执行shell脚本，文件名为mydu，使得在任意目录执行该脚本后，可以输出当前目录所占用的磁盘空间大小，格式化输出（例如 1K, 234M, 2G）。

[2] 修改环境变量PATH，使得在任意目录下输入mydu均可执行上述脚本。

cd homework/lesson_7/homework_0
vim mydu
    i
    #! /bin/bash
    du -sh
    :wq
chmod +x mydu  #  添加可执行权限：
# 在~/.bashrc文件末尾添加一行：
export PATH=/home/acs/homework/lesson_7/homework_0:$PATH
source ~/.bashrc

由于先开pane后执行修改后的环境变量，出现评测错误时，把之前tmux打开的pane删掉重开。

homework_1

(1) 进入homework_1文件夹，然后：
[1] 给当前目录下的所有文件添加可读权限。
[2] 统计当前目录下共有多少个以.cpp结尾的文件，将结果写入ans.txt中。

cd ../homework_1
chmod +r * -R 
ll
find . -name '*.cpp' | cat | wc -l > ans.txt
# find . -name '*.cpp' | wc -l > ans.txt

homework_2

(2) 进入homework_2文件夹，然后：
[1] 统计当前目录下所有cpp文件的总行数，将结果写入ans1.txt中。
[2] 遍历当前目录下所有py文件，统计共有多少行包含字符串thrift，将结果写入ans2.txt中。

cd ../homework_2
find . -name '*.cpp' | xargs cat | wc -l > ans1.txt
find . -name '*.py' | xargs cat | grep thrift | wc -l > ans2.txt

homework_3

(3) 进入homework_3文件夹，然后删除当前目录下的所有py文件。

cd ../homework_3
find . -name '*.py' | xargs rm

homework_4

(4) 进入homework_4文件夹，然后：
[1] 当前目录下包含一个文件scores.txt，文件中有若干行数据，每行数据包含用空格隔开的3个字段：姓名、数学成绩、算法成绩。
[2] 将scores.txt文件的内容以空格为分隔符分隔成3列，将第一列内容写入names.txt，第二列内容写入mathematics.txt，第三列内容写入algorithm.txt。
注意：scores.txt文件本身不要修改。

cd ../homework_4
cat scores.txt | cut -d ' ' -f 1 > names.txt
cat scores.txt | cut -d ' ' -f 2 > mathematics.txt
cat scores.txt | cut -d ' ' -f 3 > algorithm.txt

homework_5

(5) 进入homework_5文件夹，然后：
[1] 当前目录下包含一个文件scores.txt，文件中有若干行数据，每行数据包含用空格隔开的3个字段：姓名、数学成绩、算法成绩。
[2] 将scores.txt文件的内容以空格为分隔符分隔成3列，将第一列内容按字典序从小到大排序后写入names.txt。
注意：scores.txt文件本身不要修改。

cd ../homework_5
cat scores.txt | cut -d ' ' -f 1 | sort > names.txt

homework_6

(6) 进入homework_6文件夹，然后将scores.txt文件的前5行写入top.txt，后4行写入bottom.txt。

cd ../homework_6
head -5 scores.txt > top.txt
tail -4 scores.txt > bottom.txt

homework_7

(7) 进入homework_7文件夹，计算scores.txt文件的md5sum，将结果写入ans.txt。注意：ans.txt文件中只包含长度为32的md5sum，不包含其他内容。

cd ../homework_7
md5sum scores.txt | cut -c 1-32 > ans.txt

homework_8

(8) 进入homework_8文件夹，然后：
[1] 将dir_a文件夹压缩为project_a.tar.gz。
[2] 将project_b.tar.gz压缩文件解压到当前目录。
注意：不要删除dir_a文件夹和project_b.tar.gz文件。

cd ../homework_8
tar -zcvf project_a.tar.gz dir_a/*
tar -zxvf project_b.tar.gz

homework_9

(9) 进入homework_9文件夹，然后计算2^112+3^78，将结果写入ans.txt中。

cd ../homework_9
ipython3
    res = 2**112+3**78
    ! echo $res > ans.txt
    exit