Linux下常用文本處理命令

Linux下常用文本處理命令大全

創(chuàng)新互聯(lián)建站專(zhuān)業(yè)為企業(yè)提供灌陽(yáng)網(wǎng)站建設(shè)、灌陽(yáng)做網(wǎng)站、灌陽(yáng)網(wǎng)站設(shè)計(jì)、灌陽(yáng)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、灌陽(yáng)企業(yè)網(wǎng)站模板建站服務(wù)，10多年灌陽(yáng)做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

Linux下面有很多經(jīng)典的非常有用的命令，其中處理文本的命令就有很多。下面就讓我們一起看看這些經(jīng)典的Linux文本處理命令有哪些吧。

一. sort

文件排序, 通常用在管道中當(dāng)過(guò)濾器來(lái)使用. 這個(gè)命令可以依據(jù)指定的關(guān)鍵字或指定的字符位置, 對(duì)文件行進(jìn)行排序. 使用-m選項(xiàng), 它將會(huì)合并預(yù)排序的輸入文件. 想了解這個(gè)命令的全部參數(shù)請(qǐng)參考這個(gè)命令的info頁(yè).

二. tsort

拓?fù)渑判? 讀取以空格分隔的有序?qū)? 并且依靠輸入模式進(jìn)行排序.

三. uniq

這個(gè)過(guò)濾器將會(huì)刪除一個(gè)已排序文件中的重復(fù)行. 這個(gè)命令經(jīng)常出現(xiàn)在sort命令的管道后邊.

四. expand, unexpand

expand命令將會(huì)把每個(gè)tab轉(zhuǎn)化為一個(gè)空格. 這個(gè)命令經(jīng)常用在管道中.

unexpand命令將會(huì)把每個(gè)空格轉(zhuǎn)化為一個(gè)tab. 效果與expand命令相反.

五. cut

一個(gè)從文件中提取特定域的工具. 這個(gè)命令與awk中使用的print $N命令很相似, 但是更受限. 在腳本中使用cut命令會(huì)比使用awk命令來(lái)得容易一些. 最重要的選項(xiàng)就是-d(字段定界符)和-f(域分隔符)選項(xiàng).

六. paste

將多個(gè)文件, 以每個(gè)文件一列的形式合并到一個(gè)文件中, 合并后文件中的每一列就是原來(lái)的一個(gè)文件. 與cut結(jié)合使用, 經(jīng)常用于創(chuàng)建系統(tǒng)log文件.

七. join

這個(gè)命令與paste命令屬于同類(lèi)命令. 但是它能夠完成某些特殊的目地. 這個(gè)強(qiáng)力工具能夠以一種特殊的形式來(lái)合并兩個(gè)文件, 這種特殊的形式本質(zhì)上就是一個(gè)關(guān)聯(lián)數(shù)據(jù)庫(kù)的簡(jiǎn)單版本.

join命令只能夠操作兩個(gè)文件. 它可以將那些具有特定標(biāo)記域(通常是一個(gè)數(shù)字標(biāo)簽)的行合并起來(lái), 并且將結(jié)果輸出到stdout. 被加入的文件應(yīng)該事先根據(jù)標(biāo)記域進(jìn)行排序以便于能夠正確的匹配.

八. head

把文件的頭部?jī)?nèi)容打印到stdout上(默認(rèn)為10行, 可以自己修改). 這個(gè)命令有一些比較有趣的選項(xiàng).

九. tail

將一個(gè)文件結(jié)尾部分的內(nèi)容輸出到stdout中(默認(rèn)為10行). 通常用來(lái)跟蹤一個(gè)系統(tǒng)logfile的.修改情況, 如果使用-f選項(xiàng)的話, 這個(gè)命令將會(huì)繼續(xù)顯示添加到文件中的行.

十. wc

wc可以統(tǒng)計(jì)文件或I/O流中的”單詞數(shù)量”:

十一. fold

將輸入按照指定寬度進(jìn)行折行. 這里有一個(gè)非常有用的選項(xiàng)-s, 這個(gè)選項(xiàng)可以使用空格進(jìn)行斷行(譯者: 事實(shí)上只有外文才需要使用空格斷行, 中文是不需要的)(請(qǐng)參考例子 12-23和例子 A-1).

十二. fmt

一個(gè)簡(jiǎn)單的文件格式器, 通常用在管道中, 將一個(gè)比較長(zhǎng)的文本行輸出進(jìn)行”折行”.

十三. col

這個(gè)命令用來(lái)濾除標(biāo)準(zhǔn)輸入的反向換行符號(hào). 這個(gè)工具還可以將空白用等價(jià)的tab來(lái)替換. col工具最主要的應(yīng)用還是從特定的文本處理工具中過(guò)濾輸出, 比如groff和tbl. (譯者: 主要用來(lái)將man頁(yè)轉(zhuǎn)化為文本.)

十四. column

列格式化工具. 通過(guò)在合適的位置插入tab, 這個(gè)過(guò)濾工具會(huì)將列類(lèi)型的文本轉(zhuǎn)化為”易于打印”的表格式進(jìn)行輸出.

十五. colrm

列刪除過(guò)濾器. 這個(gè)工具將會(huì)從文件中刪除指定的列(列中的字符串)并且寫(xiě)到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename將會(huì)刪除filename文件中每行的第2到第4列之間的所有字符. p="" /filename將會(huì)刪除filename文件中每行的第2到第4列之間的所有字符.

Caution: 如果這個(gè)文件包含tab和不可打印字符, 那將會(huì)引起不可預(yù)期的行為. 在這種情況下, 應(yīng)該通過(guò)管道的手段使用expand和unexpand來(lái)預(yù)處理colrm.

十六. nl

計(jì)算行號(hào)過(guò)濾器. nl filename將會(huì)把filename文件的所有內(nèi)容都輸出到stdout上, 但是會(huì)在每個(gè)非空行的前面加上連續(xù)的行號(hào). 如果沒(méi)有filename參數(shù), 那么就操作stdin.

nl命令的輸出與cat -n非常相似, 然而, 默認(rèn)情況下nl不會(huì)列出空行.

十七. pr

格式化打印過(guò)濾器. 這個(gè)命令會(huì)將文件(或stdout)分頁(yè), 將它們分成合適的小塊以便于硬拷貝打印或者在屏幕上瀏覽. 使用這個(gè)命令的不同的參數(shù)可以完成好多任務(wù), 比如對(duì)行和列的操作, 加入行, 設(shè)置頁(yè)邊, 計(jì)算行號(hào), 添加頁(yè)眉, 合并文件等等. pr命令集合了許多命令的功能, 比如nl, paste, fold, column, 和expand.

pr -o 5 –width=65 fileZZZ | more 這個(gè)命令對(duì)fileZZZ進(jìn)行了比較好的分頁(yè), 并且打印到屏幕上. 文件的縮進(jìn)被設(shè)置為5, 總寬度設(shè)置為65.

一個(gè)非常有用的選項(xiàng)-d, 強(qiáng)制隔行打印(與sed -G效果相同).

十八. gettext

GNU gettext包是專(zhuān)門(mén)用來(lái)將程序的輸出翻譯或者本地化為不同國(guó)家語(yǔ)言的工具集. 在最開(kāi)始的時(shí)候僅僅支持C語(yǔ)言, 現(xiàn)在已經(jīng)支持了相當(dāng)數(shù)量的其它程序語(yǔ)言和腳本語(yǔ)言.

想要查看gettext程序如何在shell腳本中使用. 請(qǐng)參考info頁(yè).

十九. msgfmt

一個(gè)產(chǎn)生二進(jìn)制消息目錄的程序. 這個(gè)命令主要用來(lái)本地化.

二十. iconv

一個(gè)可以將文件轉(zhuǎn)化為不同編碼格式(字符集)的工具. 這個(gè)命令主要用來(lái)本地化.

二十一. recode

可以認(rèn)為這個(gè)命令是上邊iconv命令的專(zhuān)業(yè)版本. 這個(gè)非常靈活的并可以把整個(gè)文件都轉(zhuǎn)換為不同編碼格式的工具并不是Linux標(biāo)準(zhǔn)安裝的一部分.

二十二. TeX, gs

TeX和Postscript都是文本標(biāo)記語(yǔ)言, 用來(lái)對(duì)打印和格式化的視頻顯示進(jìn)行預(yù)拷貝.

TeX是Donald Knuth精心制作的排版系統(tǒng). 通常情況下, 通過(guò)編寫(xiě)腳本的手段來(lái)把所有的選項(xiàng)和參數(shù)封裝起來(lái)一起傳到標(biāo)記語(yǔ)言中是一件很方便的事情.

如何在Linux的文件中一次刪除一段文字

vi xxx.txt 打開(kāi)

就能看到里面的內(nèi)容。

按 i 進(jìn)入編輯模式，然后就可以輸入內(nèi)容了，也可以移動(dòng)光標(biāo)到你要?jiǎng)h除內(nèi)容的位置按刪除鍵來(lái)刪除內(nèi)容。

編輯完后可以按 Esc（鍵盤(pán)左上角） 進(jìn)入命令模式。

然后按 shift+ : 進(jìn)入末行模式。在末行模式下輸入wq 回車(chē) 就能保存并且退出vi了。

【shell】Linux刪除文本重復(fù)行

通常如果我們想獲取一個(gè)文件里不重復(fù)的行的時(shí)候，我們可以直接通過(guò)?sort?-u?命令，先把文件排序，然后去掉連續(xù)的重復(fù)行就行。

可是，如果我們?nèi)サ糁貜?fù)行之后，還想保留文件原有的順序，該怎么辦呢？

雖然 Linux 下有個(gè)看上去似乎很有用的命令叫uniq，但事實(shí)上?uniq?命令僅僅只對(duì)連續(xù)的重復(fù)行有效。

如果不排序，直接使用 uniq 命令是沒(méi)有用的；使用?sort?-u?的話，我們就丟失了文件原有的行的順序了。

一個(gè)終極的解決方案是使用 awk：

簡(jiǎn)要解釋一下：awk 的基本執(zhí)行流程是，對(duì)文件的每一行，做一個(gè)指定的邏輯判斷，如果邏輯判斷成立，則執(zhí)行指定的命令；如果邏輯判斷不成立，則直接跳過(guò)這一行。

我們這里寫(xiě)的 awk 命令是!x[$0]++，意思是，首先創(chuàng)建一個(gè) map 叫x，然后用當(dāng)前行的全文$0作為 map 的 key，到 map 中查找相應(yīng)的 value，如果沒(méi)找到，則整個(gè)表達(dá)式的值為真，可以執(zhí)行之后的語(yǔ)句；如果找到了，則表達(dá)式的值為假，跳過(guò)這一行。

由于表達(dá)式之后有++，因此如果某個(gè) key 找不到對(duì)應(yīng)的 value，該++操作會(huì)先把對(duì)應(yīng)的 value 設(shè)成 0，然后再自增成 1，這樣下次再遇到重復(fù)的行的時(shí)候，對(duì)應(yīng)的 key 就能找到一個(gè)非 0 的 value 了。

我們前面說(shuō)過(guò)，awk 的流程是先判斷表達(dá)式，表達(dá)式為真的時(shí)候就執(zhí)行語(yǔ)句，可是我們前面寫(xiě)的這個(gè) awk 命令里只有表達(dá)式，沒(méi)有語(yǔ)句，那我們執(zhí)行什么呢？原來(lái)，當(dāng)語(yǔ)句被省略的時(shí)候，awk 就執(zhí)行默認(rèn)的語(yǔ)句，即打印整個(gè)完整的當(dāng)前行。就這樣，我們通過(guò)這個(gè)非常簡(jiǎn)短的 awk 命令實(shí)現(xiàn)了去除重復(fù)行并保留原有文件順序的功能。

Linux 編輯文本命令

一、vi編輯器有3種基本工作模式

分別是：命令模式、文本輸入模式、和末行模式。

第一：命令行模式：

該模式是進(jìn)入vi編輯器后的默認(rèn)模式。任何時(shí)候，不管用戶處于何種模式，按下ESC鍵即可進(jìn)入命令模式。在該模式下，用戶可以輸入vi命令，用戶管理自己的文檔。此時(shí)從鍵盤(pán)上輸入的任何字符都被當(dāng)作編輯命令來(lái)解釋。若輸入的字符是合法的vi命令，則vi在接受用戶命令之后完成相應(yīng)的動(dòng)作。但需要注意的是，所輸入的命令并不回顯在屏幕上。若輸入的字符不是vi命令，vi會(huì)響鈴報(bào)警。

第二：文本輸入模式：

在命令模式下輸入命令i、附加命令a、打開(kāi)命令o、修改命令c、取代命令r或替換命令s都可以進(jìn)入文本輸入模式。在該模式下，用戶輸入的任何字符都被vi當(dāng)作文件內(nèi)容保護(hù)起來(lái)，并將其顯示在屏幕上。在文本輸入過(guò)程中，若想回到命令模式下，按ESC鍵即可。

第三：末行模式：

末行模式也稱ex轉(zhuǎn)義模式。在命令模式下，用戶按“：”鍵即可進(jìn)入末行模式下，此時(shí)vi會(huì)在顯示窗口的最后一行（通常也是屏幕的最后一行）顯示一個(gè)“：”作為末行模式的說(shuō)明符，等待用戶輸入命令。多數(shù)文件管理命令都是在此模式下執(zhí)行的（如把編輯緩沖區(qū)的內(nèi)容寫(xiě)到文件中等）。末行命令在執(zhí)行完后，vi自動(dòng)回到命令模式。如果要從命令模式轉(zhuǎn)換到編輯模式，可以鍵入a或者i。如果需要從文本模式返回，則按ESC即可。在命令模式下輸入“:”即可切換到末行模式，然后輸入命令。

實(shí)例演示

首先我們使用命令 vi filename 打開(kāi)一個(gè)文件，這個(gè)時(shí)候進(jìn)入到的是命令模式

接下來(lái)我們按i，然后鍵盤(pán)隨便輸入寫(xiě)內(nèi)容。

然后按ESC重新進(jìn)入到命令模式。

在命令模式的情況下，我們按：，進(jìn)入到了末行模式。

我們輸入wq!，然后回車(chē)，強(qiáng)行保存退出。

下次我們?cè)俅蜷_(kāi)對(duì)應(yīng)文件（可用less filename命令打開(kāi)），即可看到內(nèi)容已經(jīng)更改。

補(bǔ)充：

（1）末行模式下：q! 【強(qiáng)制退出不保存】 q【退出不保存】 wq【退出并保存后面也可以加個(gè)！】

（2）如果你不想保存直接退出有可以在命令模式下使用“ctrl+z”快捷鍵或者按住“shift”鍵，輸入兩個(gè)z即可退出。

更多命令

進(jìn)入vi的命令：

vi filename :打開(kāi)或新建文件，并將光標(biāo)置于第一行首

vi +n filename ：打開(kāi)文件，并將光標(biāo)置于第n行首

vi + filename ：打開(kāi)文件，并將光標(biāo)置于最后一行首

vi +/pattern filename：打開(kāi)文件，并將光標(biāo)置于第一個(gè)與pattern匹配的串處

vi -r filename ：在上次正用vi編輯時(shí)發(fā)生系統(tǒng)崩潰，恢復(fù)filename

vi filename….filename ：打開(kāi)多個(gè)文件，依次進(jìn)行編輯

屏幕翻滾類(lèi)命令：

Ctrl+u：向文件首翻半屏

Ctrl+d：向文件尾翻半屏

Ctrl+f：向文件尾翻一屏

Ctrl＋b；向文件首翻一屏

nz：將第n行滾至屏幕頂部，不指定n時(shí)將當(dāng)前行滾至屏幕頂部。

插入文本類(lèi)命令：

i ：在光標(biāo)前

I ：在當(dāng)前行首

a：光標(biāo)后

A：在當(dāng)前行尾

o：在當(dāng)前行之下新開(kāi)一行

O：在當(dāng)前行之上新開(kāi)一行

r：替換當(dāng)前字符

R：替換當(dāng)前字符及其后的字符，直至按ESC鍵

s：從當(dāng)前光標(biāo)位置處開(kāi)始，以輸入的文本替代指定數(shù)目的字符

S：刪除指定數(shù)目的行，并以所輸入文本代替之

ncw或nCW：修改指定數(shù)目的字

nCC：修改指定數(shù)目的行

刪除命令：

ndw或ndW：刪除光標(biāo)處開(kāi)始及其后的n-1個(gè)字

do：刪至行首

d$：刪至行尾

ndd：刪除當(dāng)前行及其后n-1行

x或X：刪除一個(gè)字符，x刪除光標(biāo)后的，而X刪除光標(biāo)前的

Ctrl+u：刪除輸入方式下所輸入的文本

搜索及替換命令：

/pattern：從光標(biāo)開(kāi)始處向文件尾搜索pattern

?pattern：從光標(biāo)開(kāi)始處向文件首搜索pattern

n：在同一方向重復(fù)上一次搜索命令

N：在反方向上重復(fù)上一次搜索命令

：s/p1/p2/g：將當(dāng)前行中所有p1均用p2替代

：n1,n2s/p1/p2/g：將第n1至n2行中所有p1均用p2替代

：g/p1/s//p2/g：將文件中所有p1均用p2替換

撤銷(xiāo)回退命令：

u 撤銷(xiāo)上一步的操作

Ctrl+r 恢復(fù)上一步被撤銷(xiāo)的操作

選項(xiàng)設(shè)置：

all：列出所有選項(xiàng)設(shè)置情況

term：設(shè)置終端類(lèi)型

ignorance：在搜索中忽略大小寫(xiě)

list：顯示制表位(Ctrl+I)和行尾標(biāo)志（$)

number：顯示行號(hào)

report：顯示由面向行的命令修改過(guò)的數(shù)目

terse：顯示簡(jiǎn)短的警告信息

warn：在轉(zhuǎn)到別的文件時(shí)若沒(méi)保存當(dāng)前文件則顯示NO write信息

nomagic：允許在搜索模式中，使用前面不帶“\”的特殊字符

nowrapscan：禁止vi在搜索到達(dá)文件兩端時(shí)，又從另一端開(kāi)始

mesg：允許vi顯示其他用戶用write寫(xiě)到自己終端上的信息

末行模式命令：

：n1,n2 co n3：將n1行到n2行之間的內(nèi)容拷貝到第n3行下

：n1,n2 m n3：將n1行到n2行之間的內(nèi)容移至到第n3行下

：n1,n2 d ：將n1行到n2行之間的內(nèi)容刪除

：w ：保存當(dāng)前文件

：e filename：打開(kāi)文件filename進(jìn)行編輯

：x：保存當(dāng)前文件并退出

：q：退出vi

：q!：不保存文件并退出vi

：wq：保存并退出

：!command：執(zhí)行shell命令command

：n1,n2 w!command：將文件中n1行至n2行的內(nèi)容作為command的輸入并執(zhí)行之，若不指定n1，n2，則表示將整個(gè)文件內(nèi)容作為command的輸入

：r!command：將命令command的輸出結(jié)果放到當(dāng)前行

寄存器操作：

“?nyy：將當(dāng)前行及其下n行的內(nèi)容保存到寄存器？中，其中?為一個(gè)字母，n為一個(gè)數(shù)字

“?nyw：將當(dāng)前行及其下n個(gè)字保存到寄存器？中，其中?為一個(gè)字母，n為一個(gè)數(shù)字

“?nyl：將當(dāng)前行及其下n個(gè)字符保存到寄存器？中，其中?為一個(gè)字母，n為一個(gè)數(shù)字

“?p：取出寄存器？中的內(nèi)容并將其放到光標(biāo)位置處。這里？可以是一個(gè)字母，也可以是一個(gè)數(shù)字

ndd：將當(dāng)前行及其下共n行文本刪除，并將所刪內(nèi)容放到1號(hào)刪除寄存器中。