本篇內(nèi)容主要講解“shell兩個(gè)文件去重的方式”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“shell兩個(gè)文件去重的方式”吧!

創(chuàng)新互聯(lián)是一家專注于成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),松桃網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:松桃等地區(qū)。松桃做網(wǎng)站價(jià)格咨詢:18982081108

前言

大家都知道shell在文本處理上確有極大優(yōu)勢(shì)，比如多文本合并、去重等，但是最近遇到了一個(gè)難搞的問(wèn)題，即兩個(gè)大數(shù)據(jù)量文件去重。下面來(lái)看看詳細(xì)的介紹吧。

要求

有txt文件A.txt和B.txt。

其中A為關(guān)鍵詞和搜索量，以逗號(hào)分隔，約90萬(wàn)行。

B為關(guān)鍵詞，約400萬(wàn)行。

需要從A中找出與B重復(fù)的關(guān)鍵詞。

我試了N種姿勢(shì)，但結(jié)果都不盡人意，最奇怪的是有些方法對(duì)小數(shù)據(jù)量的測(cè)試文件有用，一旦用在A與B上就會(huì)失敗，真叫人百思不得其解。

姿勢(shì)一：

awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | sort | uniq -d
 
#先從A.txt種取出關(guān)鍵詞，然后與B.txt一起打開(kāi)，用sort排序，uniq -d 取出重復(fù)的行

姿勢(shì)二：

awk -F, '{print $1}' A >keywords.txt
#照例先取出關(guān)鍵詞
 
comm -1 -2 keywords.txt B.txt
#利用comm命令，顯示兩個(gè)文件都存在的行

姿勢(shì)三：

awk -F, '{print $1}' A >keywords.txt
for i in `cat keywords.txt`
do
  A=`egrep -c "^$i$" B.txt`
  if [ $A != 0 ]
  then
    echo $i >>重復(fù)關(guān)鍵詞.txt
  fi
done
 
#這種姿勢(shì)就稍微復(fù)雜點(diǎn)
#首先取出關(guān)鍵詞，然后利用for循環(huán)逐個(gè)去B.txt里面匹配（注意正則寫法^$i$），如果匹配到的結(jié)果數(shù)不為0，說(shuō)明這個(gè)關(guān)鍵詞是重復(fù)的，然后輸出
#這種方法的優(yōu)點(diǎn)是穩(wěn)妥，缺點(diǎn)是效率太TM低了，90萬(wàn)個(gè)詞逐一與400萬(wàn)詞匹配，shell默認(rèn)又沒(méi)有多線程，耗時(shí)太長(zhǎng)。

姿勢(shì)四：

awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | awk '!a[$1]++'
 
#這個(gè)方法的原理其實(shí)我不太懂，awk命令實(shí)在太強(qiáng)大太高深了，但是這種方法又簡(jiǎn)潔又快速

其實(shí)還有一種grep -v 、grep -f的方法，但是我沒(méi)有試過(guò)，所以不在這里列出了。

到此，相信大家對(duì)“shell兩個(gè)文件去重的方式”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)建站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

標(biāo)題名稱：shell兩個(gè)文件去重的方式-創(chuàng)新互聯(lián)
本文URL：http://weahome.cn/article/dhgegh.html