準確上講應(yīng)該說是
目前創(chuàng)新互聯(lián)公司已為近千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、網(wǎng)站托管、服務(wù)器租用、企業(yè)網(wǎng)站設(shè)計、恩施土家網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
shell
腳本文件編程（當(dāng)然了，在該
shell
腳本文件中也可以包含
linux
系統(tǒng)命令）。shell
腳本文件是一個文本文件，它是將你需要完成的各種復(fù)雜功能通過編寫
shell
程序來實現(xiàn)。例如：模式匹配（awk）
、字符串替換功能（sed）等。在
awk
和
sed
等工具的使用中肯定需要使用正則表達式的熟練使用，而
linux
命令是指
linux
系統(tǒng)的基本操作命令，例如：ls
列出文件名命令、cat
filename、cd
改變子目錄命令等等。這就是它們之間的區(qū)別。
Linux下常用文本處理命令大全
Linux下面有很多經(jīng)典的非常有用的命令，其中處理文本的命令就有很多。下面就讓我們一起看看這些經(jīng)典的Linux文本處理命令有哪些吧。
一. sort
文件排序, 通常用在管道中當(dāng)過濾器來使用. 這個命令可以依據(jù)指定的關(guān)鍵字或指定的字符位置, 對文件行進行排序. 使用-m選項, 它將會合并預(yù)排序的輸入文件. 想了解這個命令的全部參數(shù)請參考這個命令的info頁.
二. tsort
拓撲排序, 讀取以空格分隔的有序?qū)? 并且依靠輸入模式進行排序.
三. uniq
這個過濾器將會刪除一個已排序文件中的重復(fù)行. 這個命令經(jīng)常出現(xiàn)在sort命令的管道后邊.
四. expand, unexpand
expand命令將會把每個tab轉(zhuǎn)化為一個空格. 這個命令經(jīng)常用在管道中.
unexpand命令將會把每個空格轉(zhuǎn)化為一個tab. 效果與expand命令相反.
五. cut
一個從文件中提取特定域的工具. 這個命令與awk中使用的print $N命令很相似, 但是更受限. 在腳本中使用cut命令會比使用awk命令來得容易一些. 最重要的選項就是-d(字段定界符)和-f(域分隔符)選項.
六. paste
將多個文件, 以每個文件一列的形式合并到一個文件中, 合并后文件中的每一列就是原來的一個文件. 與cut結(jié)合使用, 經(jīng)常用于創(chuàng)建系統(tǒng)log文件.
七. join
這個命令與paste命令屬于同類命令. 但是它能夠完成某些特殊的目地. 這個強力工具能夠以一種特殊的形式來合并兩個文件, 這種特殊的形式本質(zhì)上就是一個關(guān)聯(lián)數(shù)據(jù)庫的簡單版本.
join命令只能夠操作兩個文件. 它可以將那些具有特定標記域(通常是一個數(shù)字標簽)的行合并起來, 并且將結(jié)果輸出到stdout. 被加入的文件應(yīng)該事先根據(jù)標記域進行排序以便于能夠正確的匹配.
八. head
把文件的頭部內(nèi)容打印到stdout上(默認為10行, 可以自己修改). 這個命令有一些比較有趣的選項.
九. tail
將一個文件結(jié)尾部分的內(nèi)容輸出到stdout中(默認為10行). 通常用來跟蹤一個系統(tǒng)logfile的.修改情況, 如果使用-f選項的話, 這個命令將會繼續(xù)顯示添加到文件中的行.
十. wc
wc可以統(tǒng)計文件或I/O流中的”單詞數(shù)量”:
十一. fold
將輸入按照指定寬度進行折行. 這里有一個非常有用的選項-s, 這個選項可以使用空格進行斷行(譯者: 事實上只有外文才需要使用空格斷行, 中文是不需要的)(請參考例子 12-23和例子 A-1).
十二. fmt
一個簡單的文件格式器, 通常用在管道中, 將一個比較長的文本行輸出進行”折行”.
十三. col
這個命令用來濾除標準輸入的反向換行符號. 這個工具還可以將空白用等價的tab來替換. col工具最主要的應(yīng)用還是從特定的文本處理工具中過濾輸出, 比如groff和tbl. (譯者: 主要用來將man頁轉(zhuǎn)化為文本.)
十四. column
列格式化工具. 通過在合適的位置插入tab, 這個過濾工具會將列類型的文本轉(zhuǎn)化為”易于打印”的表格式進行輸出.
十五. colrm
列刪除過濾器. 這個工具將會從文件中刪除指定的列(列中的字符串)并且寫到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename將會刪除filename文件中每行的第2到第4列之間的所有字符. p="" /filename將會刪除filename文件中每行的第2到第4列之間的所有字符.
Caution: 如果這個文件包含tab和不可打印字符, 那將會引起不可預(yù)期的行為. 在這種情況下, 應(yīng)該通過管道的手段使用expand和unexpand來預(yù)處理colrm.
十六. nl
計算行號過濾器. nl filename將會把filename文件的所有內(nèi)容都輸出到stdout上, 但是會在每個非空行的前面加上連續(xù)的行號. 如果沒有filename參數(shù), 那么就操作stdin.
nl命令的輸出與cat -n非常相似, 然而, 默認情況下nl不會列出空行.
十七. pr
格式化打印過濾器. 這個命令會將文件(或stdout)分頁, 將它們分成合適的小塊以便于硬拷貝打印或者在屏幕上瀏覽. 使用這個命令的不同的參數(shù)可以完成好多任務(wù), 比如對行和列的操作, 加入行, 設(shè)置頁邊, 計算行號, 添加頁眉, 合并文件等等. pr命令集合了許多命令的功能, 比如nl, paste, fold, column, 和expand.
pr -o 5 –width=65 fileZZZ | more 這個命令對fileZZZ進行了比較好的分頁, 并且打印到屏幕上. 文件的縮進被設(shè)置為5, 總寬度設(shè)置為65.
一個非常有用的選項-d, 強制隔行打印(與sed -G效果相同).
十八. gettext
GNU gettext包是專門用來將程序的輸出翻譯或者本地化為不同國家語言的工具集. 在最開始的時候僅僅支持C語言, 現(xiàn)在已經(jīng)支持了相當(dāng)數(shù)量的其它程序語言和腳本語言.
想要查看gettext程序如何在shell腳本中使用. 請參考info頁.
十九. msgfmt
一個產(chǎn)生二進制消息目錄的程序. 這個命令主要用來本地化.
二十. iconv
一個可以將文件轉(zhuǎn)化為不同編碼格式(字符集)的工具. 這個命令主要用來本地化.
二十一. recode
可以認為這個命令是上邊iconv命令的專業(yè)版本. 這個非常靈活的并可以把整個文件都轉(zhuǎn)換為不同編碼格式的工具并不是Linux標準安裝的一部分.
二十二. TeX, gs
TeX和Postscript都是文本標記語言, 用來對打印和格式化的視頻顯示進行預(yù)拷貝.
TeX是Donald Knuth精心制作的排版系統(tǒng). 通常情況下, 通過編寫腳本的手段來把所有的選項和參數(shù)封裝起來一起傳到標記語言中是一件很方便的事情.
快照功能：記錄當(dāng)前的硬盤的狀態(tài)。剛建快照時快照占用內(nèi)存為0，標記了當(dāng)前硬盤的存儲狀態(tài)。當(dāng)虛擬機對快照標記的內(nèi)容改寫時，會將改寫的內(nèi)容存儲進快照，與未改寫的部分整合得到完整的快照。當(dāng)快照標記的部分被完全改寫，那么快照存儲空間完整記錄了當(dāng)時拍攝時的內(nèi)存狀態(tài)。
參數(shù)形式
第一種：參數(shù)用一橫的說明后面的參數(shù)是字符形式。
第二種：參數(shù)用兩橫的說明后面的參數(shù)是單詞形式。
第三種：參數(shù)前有橫的是 System V風(fēng)格。
第四種：參數(shù)前沒有橫的是 BSD風(fēng)格。
cat、more、less、head、tail命令的比較：
cat命令可以一次顯示整個文件，如果文件比較大，使用不是很方便；
more命令可以讓屏幕在顯示滿一屏幕時暫停，按空格往前翻頁，按b往后翻頁。
less命令也可以分頁顯示文件，和more命令的區(qū)別就在于： 支持上下鍵卷動屏幕、查找；不需要在一開始就讀取整個文件，打開大文件時比more、vim更快。
head命令用于查看文件的前n行。
tail命令用于查看文件的后n行，加上-f命令，查看在線日志非常方便，可以打印最新增加的日志。
一般模式：
編輯模式：
命令模式：
編碼
多行操作(列編輯模式)
插入：ctrl+v進入列編輯模式，上下移動光標選擇需要插入的位置，然后輸入大寫I，輸入需要文本，最后按esc鍵退出，就會發(fā)現(xiàn)文本會在選擇的多行中插入。
刪除：ctrl+v進入列編輯模式，上下移動光標選中需要刪除的部分，然后按d，就會刪除選中的內(nèi)容。
①head：顯示文件頭部內(nèi)容
②tail：輸出文件尾部內(nèi)容
注意：用vim和vi修改內(nèi)容會刪除源文件并生成新文件，所以tail -f會失效。需要用到
追加和覆蓋語句（或），才能被tail -f監(jiān)視到。
一般用于查看小文件
查看壓縮文件中的文本內(nèi)容
例：
①more：文件內(nèi)容分屏查看器
②less：分屏顯示文件內(nèi)容，效率比more高
1、簡單讀取
運行腳本如下
測試結(jié)果為：
2、-p 參數(shù)，允許在 read 命令行中直接指定一個提示。
運行腳本如下
測試結(jié)果為：
echo [選項] [輸出內(nèi)容] （輸出內(nèi)容到控制臺）
輸出給定文本的sha256加密后的內(nèi)容
①顯示當(dāng)前時間信息
②顯示當(dāng)前時間年月日
③顯示當(dāng)前時間年月日時分秒
④顯示昨天
⑤顯示明天時間
⑥顯示上個月時間
需要注意的是取下個月的命令存在bug，執(zhí)行如下命令會得到21-10，但是正常應(yīng)該得到21-09，需要注意
date -d "2021-08-31 +1 month" +%y-%m
⑦修改系統(tǒng)時間
⑧獲取當(dāng)前時間戳
獲取秒時間戳： date +%s
獲取毫秒時間戳：$[ (date +%s%N) /1000000]
查看日歷
（1）查看當(dāng)前月的日歷
（2）查看2017年的日歷
例：
對比gzip/gunzip，zip/unzip可以壓縮文件和目錄且保留源文件。
①zip：壓縮
②unzip：解壓縮
只能壓縮文件不能壓縮目錄，不保留原來的文件。
gzip 文件 （只能將文件壓縮為*.gz文件）
gunzip 文件.gz （解壓縮文件命令）
例： crontab -e
（1）進入crontab編輯界面。會打開vim編輯你的工作。
（2）每隔1分鐘，向/root/bailongma.txt文件中添加一個11的數(shù)字
*/1 * * * * /bin/echo ”11” /root/bailongma.txt
（3）可以用tail -f 目標文件來實施監(jiān)控追加的內(nèi)容
查看日志
可以用tail -f /var/log/cron.log觀察
Cron表達式見文章：
ls [選項] [目錄或是文件]
cd [參數(shù)]
例： cd -P $(dirname $p1) ； pwd 先跳轉(zhuǎn)到文件的所在目錄，再打印$p1文件的實際路徑
概述
①cp（copy）：只能在本機中復(fù)制
②scp（secure copy）：可以復(fù)制文件給遠程主機
scp -r test.sh hxr@hadoop102:/root
③rsync（remote sync）：功能與scp相同，但是不會改文件屬性
rsync -av test.sh test.sh hxr@hadoop102:/root
④nc（netcat）：監(jiān)聽端口，可以實現(xiàn)機器之間傳輸文件。
nc -lk 7777 (-l表示listen，-k表示keep)
強制覆蓋不提示的方法：\cp
例：scp -r test.sh hxr@bigdata1:/root
例：rsync -av test.sh hxr@bigdata1:/root
例：
nc -lp 10000 nc_test.txt
nc -w 1 hadoop102 nc_test.txt
遠程登錄時默認使用的私鑰為~/.ssh/id_rsa
生成密鑰對
將公鑰發(fā)送到本機
將密鑰發(fā)送到需要登錄到本機的服務(wù)器上
修改密鑰的權(quán)限
遠程登陸
如果有多個節(jié)點需要遠程登陸，可以在.ssh下創(chuàng)建config并輸入
再次登陸
①正向代理：
②反向代理：
所謂“反向代理”就是讓遠端啟動端口，把遠端端口數(shù)據(jù)轉(zhuǎn)發(fā)到本地。
HostA 將自己可以訪問的 HostB:PortB 暴露給外網(wǎng)服務(wù)器 HostC:PortC，在 HostA 上運行：
那么鏈接 HostC:PortC 就相當(dāng)于鏈接 HostB:PortB。
使用時需修改 HostC 的 /etc/ssh/sshd_config 的一條配置如下，不然啟動的進程監(jiān)聽的ip地址為127.0.0.1，即只有本機可以訪問該端口。
相當(dāng)于內(nèi)網(wǎng)穿透，比如 HostA 和 HostB 是同一個內(nèi)網(wǎng)下的兩臺可以互相訪問的機器，HostC是外網(wǎng)跳板機，HostC不能訪問 HostA，但是 HostA 可以訪問 HostC。
那么通過在內(nèi)網(wǎng) HostA 上運行 ssh -R 告訴 HostC，創(chuàng)建 PortC 端口監(jiān)聽，把該端口所有數(shù)據(jù)轉(zhuǎn)發(fā)給我（HostA），我會再轉(zhuǎn)發(fā)給同一個內(nèi)網(wǎng)下的 HostB:PortB。
同內(nèi)網(wǎng)下的 HostA/HostB 也可以是同一臺機器，換句話說就是 內(nèi)網(wǎng) HostA 把自己可以訪問的端口暴露給了外網(wǎng) HostC。
例： 比如在我的內(nèi)網(wǎng)機192.168.32.244上有一個RabbitMQ的客戶端，端口號為15672?，F(xiàn)在我希望在外網(wǎng)上訪問固定ip的云服務(wù)器chenjie.asia的6009端口，通過跳板機192.168.32.243來轉(zhuǎn)發(fā)請求到192.168.32.244:15672，從而實現(xiàn)在外網(wǎng)訪問內(nèi)網(wǎng)服務(wù)的功能，即內(nèi)網(wǎng)穿透。
①在192.168.32.244上啟動RabbitMQ服務(wù)
②將chenjie.asia云服務(wù)器的私鑰復(fù)制到跳板機192.168.32.243的~/.ssh下，并重命名為id_rsa。通過如下命令看是否可以遠程登陸到云服務(wù)，可以登陸則進行下一步。
③修改chenjie.asia服務(wù)器的ssh配置文件 /etc/ssh/sshd_config ，允許其他節(jié)點訪問
然后重啟sshd服務(wù)
④在跳板機192.168.32.243啟動ssh反向代理
這個進程在關(guān)閉session時會停止，可以添加啟動參數(shù) -CPfN
例：
以 root 身份執(zhí)行的程序有了所有特權(quán)，這會帶來安全風(fēng)險。Kernel 從 2.2 版本開始，提供了 Capabilities 功能，它把特權(quán)劃分成不同單元，可以只授權(quán)程序所需的權(quán)限，而非所有特權(quán)。
例如：linux不允許非root賬號只用1024以下的端口，使用root啟動命令nginx，會導(dǎo)致nginx權(quán)限過高太危險。所以用setcap命令
sudo setcap cap_net_bind_service=+eip /bigdata/nginx/sbin/nginx
正確的關(guān)機流程為 ：sync shutdown reboot halt
（1）sync （功能描述：將數(shù)據(jù)由內(nèi)存同步到硬盤中）
（2）halt （功能描述：關(guān)閉系統(tǒng)，等同于shutdown -h now 和 poweroff）
（3）reboot （功能描述：就是重啟，等同于 shutdown -r now）
（4）shutdown [選項] [時間]
安裝
yum install -y telnet-server telnet
ls -i 顯示文件的節(jié)點號
find -inum 節(jié)點號 -delete 刪除指定的節(jié)點即可刪除對應(yīng)的文件
啟動一個服務(wù)： systemctl start postfix.service
關(guān)閉一個服務(wù)： systemctl stop postfix.service
重啟一個服務(wù)： systemctl restart postfix.service
顯示一個服務(wù)的狀態(tài)： systemctl status postfix.service
在開機時啟用一個服務(wù)： systemctl enable postfix.service
在開機時禁用一個服務(wù)： systemctl disable postfix.service
注：在enable的時候會打印出來該啟動文件的位置
列出所有已經(jīng)安裝的服務(wù)及狀態(tài)：
systemctl list-units
systemctl list-unit-files
查看服務(wù)列表狀態(tài):
systemctl list-units --type=service
查看服務(wù)是否開機啟動： systemctl is-enabled postfix.service
查看已啟動的服務(wù)列表： systemctl list-unit-files | grep enabled
查看啟動失敗的服務(wù)列表： systemctl --failed
查看服務(wù)日志： journalctl -u postfix -n 10 -f
命令類似systemctl，用于操作native service。
添加腳本為服務(wù)(需要指定啟動級別和優(yōu)先級)： chkconfig --add [腳本]
刪除服務(wù)： chkconfig --del [腳本]
單獨查看某一服務(wù)是否開機啟動的命令 ： chkconfig --list [服務(wù)名]
單獨開啟某一服務(wù)的命令 ： chkconfig [服務(wù)名] on
單獨關(guān)閉某一服務(wù)的命令： chkconfig [服務(wù)名] off
查看某一服務(wù)的狀態(tài)： /etc/intd.d/[服務(wù)名] status
啟用服務(wù)就是在當(dāng)前"runlevel"的配置文件目錄 /etc/systemd/system/multi-user.target.wants 里，建立 /usr/lib/systemd/system 里面對應(yīng)服務(wù)配置文件的軟鏈接；禁用服務(wù)就是刪除此軟鏈接，添加服務(wù)就是添加軟連接。
su 用戶名稱 （切換用戶，只能獲得用戶的執(zhí)行權(quán)限，不能獲得環(huán)境變量）
su - 用戶名稱 （切換到用戶并獲得該用戶的環(huán)境變量及執(zhí)行權(quán)限）
echo $PATH 打印環(huán)境變量
設(shè)置普通用戶具有root權(quán)限
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下 所示：
或者配置成采用sudo命令時，不需要輸入密碼
修改完畢，現(xiàn)在可以用hxr 帳號登錄，然后用命令 sudo ，即可獲得root權(quán)限進行操作。
以azkaban用戶執(zhí)行引號中的命令
gpasswd -d [username] [groupname] 將用戶從組中刪除
gpasswd -a [username] [groupname] 將用戶加入到組中
用戶組的管理涉及用戶組的添加、刪除和修改。組的增加、刪除和修改實際上就是對 /etc/group文件的更新。
0首位表示類型 - 代表文件 d 代表目錄 l 鏈接文檔(link file)
三種特殊權(quán)限suid、sgid、sticky
例子:
變更文件權(quán)限方式一
例：chmod u-x,o+x houge.txt
變更文件權(quán)限方式二
例：chmod -R 777 /mnt/ 修改整個文件夾的文件權(quán)限
在linux中創(chuàng)建文件或者目錄會有一個默認權(quán)限的，這個默認權(quán)限是由umask決定的（默認為0022）。umask設(shè)置的是權(quán)限的“補碼”，而我們常用chmod設(shè)置的是文件權(quán)限碼。一般在/etc/profile 、~/.bashprofile 或者 ~/.profile中設(shè)置umask值。
umask計算
如root用戶的默認umask為0022(第一個0 代表特殊權(quán)限位，這里先不考慮)，創(chuàng)建的文件默認權(quán)限是644(即默認666掩上umask的022)，創(chuàng)建的目錄是755(即默認777掩上umask的022)。
對于root用戶的umask=022這個來說，777權(quán)限二進制碼就是（111）（111）（111），022權(quán)限二進制碼為（000）（010）（010）。
上面就是一個umask的正常計算過程，但是這樣實在是太麻煩了。我們使用如下的簡單的方法快速計算。
上面的這個方法計算是非常方便的， 為何得到奇數(shù)要+1呢？
文件的最大權(quán)限是666，都是偶數(shù)，你得到奇數(shù)，說明你的umask有奇數(shù)啊，讀為4，寫為2，都是偶數(shù)，說明你有執(zhí)行權(quán)限的。
就按照上面的umask=023為例，在計算其他用戶權(quán)限的時候6-3=3 ，6是讀寫，3是寫和執(zhí)行，其實應(yīng)該是讀寫權(quán)限減去讀權(quán)限的得到寫權(quán)限的，相當(dāng)于我們多減去了一個執(zhí)行權(quán)限。所以結(jié)果加1。
umask修改
如果想單獨修改某個文件夾的新建文件的權(quán)限，可以使用setfacl命令。
例：遞歸改變文件所有者和所有組 chown -R hxr:hxr /mnt
例：
重慶分公司
重慶分公司
