在做域名爆破中，遇到了把一個300G的子域名json文件進行去重，一開始是考慮使用字典進行去重，但是數(shù)據(jù)量大了，會造成內(nèi)存泄露?？淳W(wǎng)上資料介紹了一種方案，就是使用布隆過濾器。
10年積累的成都網(wǎng)站設(shè)計、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有瑯琊免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
布隆過濾器是一種數(shù)據(jù)結(jié)構(gòu)，概率型數(shù)據(jù)結(jié)構(gòu)，特定是高效插入和查詢，可以用來告訴你“某一值一定不存在或者kennel存在”。
相比于傳統(tǒng)的map、set等數(shù)據(jù)結(jié)構(gòu)，占用空間更少，但其返回結(jié)果是概率型的，不確定。
布隆過濾器內(nèi)部維護一個bitArray(位數(shù)組)，開始所有數(shù)據(jù)為0，當一個元素過來時，能過多個哈希函數(shù)（hash1、hash2、hash3）計算不同的hash值，并通過hash值找到bitArray的下標，將里面的值改為由0變?yōu)?。布隆過濾器有一個誤判率，誤判率越低，數(shù)組越長，所在空間越大，誤判率越高，數(shù)組越小，所占空間越小。
這里貼上一個技術(shù)大牛的博客地址，里面對布隆過濾器用法以及在redis里面處理緩存穿透問題的詳細介紹。
網(wǎng)站一級域名和二級域名區(qū)別？
幾級域名就是看域名后面有幾個以"."分隔的后綴。
例如：”fuyeor．com“有一個以"."分隔的后綴，就是一個一級域名。其中 com 是頂級域名，或者叫做根域名、域名后綴。
二級域名就是寄存在主域名之下的域名，是裸域名往左一級的域名。一般來說，二級域名就是 類似 3個w（www）這樣的格式。
例如：”www．fuyeor．com“有兩個以"."分隔的后綴，就是一個二級域名。
因為 IP 地址是枯燥的長長一大串數(shù)字，為了讓人容易記住，網(wǎng)站就有了域名，比如：“二級域名.fuyeor.根域名”或者直接是沒有二級域的”fuyeor.根域名“。
其中，“二級域名.fuyeor.根域名”里 fuyeor 就是域名的主體；而根域名就是 com、net、cn 這些后綴。
參考資料
二級域（或稱二級域名；英語：Second-level domain；英文縮寫：SLD）是互聯(lián)網(wǎng)DNS等級之中，處于頂級域名之下的域。二級域名是以兩個以"."分隔的后綴的域名。- 百度百科
域名由兩組或兩組以上的ASCII或各國語言字符構(gòu)成，各組字符間由點號分隔開，最右邊的字符組稱為頂級域名或一級域名、倒數(shù)第二組稱為二級域名、倒數(shù)第三組稱為三級域名、以此類推。頂級域名又分為三類：一是國家和地區(qū)頂級域名（country code top-level domains，簡稱ccTLDs）等等。
A記錄
QUOTE:
A (Address) 記錄是用來指定主機名（或域名）對應(yīng)的IP地址記錄。用戶可以將該域名下的網(wǎng)站服務(wù)器指向到自己的web server上。同時也可以設(shè)置您域名的子域名。通俗來說A記錄就是服務(wù)器的IP,域名綁定A記錄就是告訴DNS,當你輸入域名的時候給你引導向設(shè)置在DNS的A記錄所對應(yīng)的服務(wù)器
子域名
QUOTE:
子域名道理等同二級域名，不過比二級域名更加延伸，比如我們繼續(xù)擴展該域名的主機名，設(shè)置主機名為bbs.at,那么就可以建立一個三級域名：bbs.at.abc.com，當然也可以建立四級域名bbs.at.go.abc.com，五級域名bbs.at.go.home.abc.com……，依次類推，可以建立無限級別的域名，我們統(tǒng)稱這些域名為頂級域名abc.com的子域名。
CNAME別名指向記錄
QUOTE:
CNAME (Canonical Name)記錄，通常稱別名指向。在這里，您可以定義一個主機別名，比如設(shè)置ftp.***.com，用來指向一個主機www.***.com,那么以后就可以用FTP.***.com來代替訪問www.***.com了。
MX記錄
QUOTE:
MX記錄也叫做郵件路由記錄，用戶可以將該域名下的郵件服務(wù)器指向到自己的mail server上，然后即可自行操控所有的郵箱設(shè)置。您只需在線填寫您服務(wù)器的IP地址，即可將您域名下的郵件全部轉(zhuǎn)到您自己設(shè)定相應(yīng)的郵件服務(wù)器上。
簡單的說，通過操作MX記錄，您才可以得到以您域名結(jié)尾的郵局。
TXT 記錄
QUOTE:
TXT 記錄，一般指為某個主機名或域名設(shè)置的說明，如：
admin IN TXT "管理員, 電話： 13901234567"
mail IN TXT "郵件主機, 存放在xxx , 管理人：AAA"
Jim IN TXT "contact: abc@mailserver.com"
也就是您可以設(shè)置 TXT ，以便使別人聯(lián)系到您
SRV 記錄
QUOTE:
SRV 記錄：一般是為Microsoft的活動目錄設(shè)置時的應(yīng)用。DNS可以獨立于活動目錄，但是活動目錄必須有DNS的幫助才能工作。為了活動目錄能夠正常的工作，DNS服務(wù)器必須支持服務(wù)定位（SRV）資源記錄，資源記錄把服務(wù)名字映射為提供服務(wù)的服務(wù)器名字?；顒幽夸浛蛻艉陀蚩刂破魇褂肧RV資源記錄決定域控制器的IP地址。
此技術(shù)細節(jié)請參考相應(yīng)網(wǎng)站
一級域名：
即頂級域名。域名由兩個或兩個以上的詞構(gòu)成, 中間由點號分隔開。最右邊的那個詞稱為頂級域名。下面是幾個常見的頂級域名及其用法：
*.COM--用于商業(yè)機構(gòu)。它是最常見的頂級域名。任何人都可以注冊.COM 形式的域名。
*.NET--最初是用于網(wǎng)絡(luò)組織，例如因特網(wǎng)服務(wù)商和維修商?，F(xiàn)在任何人都可以注冊以.NET結(jié)尾的域名。
*.ORG--是為各種組織包括非盈利組織而定的?，F(xiàn)在，任何人都可以注冊以.ORG 結(jié)尾的域名。
以國家代碼劃分的頂級域名：
由兩個字母組成的頂級域名。如.cn, .uk, .de和.jp稱為國家代碼頂級域名(ccTLDs), 其中.cn是中國專用的頂級域名, 其注冊歸CNNIC管理, 以.cn結(jié)尾的二級域名我們簡稱為國內(nèi)域名。注冊國家代碼頂級域名下的二級域名的規(guī)則和政策與不同的國家的政策有關(guān)。您在注冊時應(yīng)咨詢域名注冊機構(gòu), 問清相關(guān)的注冊條件及與注冊相關(guān)的條款。某些域名注冊商除了提供以.com, .net和.org結(jié)尾的域名的注冊服務(wù)之外, 還提供國家代碼頂級域名的注冊。ICANN并沒有特別授權(quán)注冊商提供國家代碼頂級域名的注冊服務(wù)。
二級域名：
即頂級域名的下一級，就是我們所說的二級域名。domainpeople.com，域名注冊人在以.com結(jié)尾的頂級域名中，提供一個二級域名。域名形式也可能是something.domainpeople.com。在這種情況下，something 稱為主名或分域名。
而如今我們通常這樣理解：
一級域名：
一個域名由兩個詞段構(gòu)成就是一級域名。
二級域名：
一個域名由三個詞段構(gòu)成就是二級域名。
如：
baidu.com 一級域名
zhidao.baidu.com二級域名
baike.baidu.com二級域名
（嚴格說，www開頭的也是二級域名）
如果您注冊的域名是abc.com,那么他是由一個字符串加一個域名尾，中間用.號隔開。這就是一個頂級域名，如果在頂級域名前在由.隔開加上不同的字符，比如bbs.abc.com,那么我們就說bbs是頂級域名abc.com的一個主機名，bbs.abc.com就是一個二級域名。
三級域名：bbs.at.abc.com，當然也可以建立四級域名bbs.at.go.abc.com，五級域名bbs.at.go.home.abc.com……，依次類推，可以建立無限級別的域名，我們統(tǒng)稱這些域名為頂級域名abc.com的子域名。
友情提示：
注冊一級域名后,二級、三級、....無限級別域名在一級域名注冊后的域名管理注冊本域名下的DNS（添加DNS名字及IP地址即可），并且都是免費注冊的。
比如hi.baidu.com 這個域名 你設(shè)置的 曾埋玉 這就不叫二級域名 叫hi.baidu.com域名下的子目錄.
重慶分公司
重慶分公司
