CoreDNS是使用go語言編寫的快速靈活的DNS服務(wù),采用鏈?zhǔn)讲寮J?,每個插件實(shí)現(xiàn)獨(dú)立的功能,底層協(xié)議可以是tcp/udp,也可以是TLS,gRPC等。默認(rèn)監(jiān)聽所有ip地址,可使用bind插件指定監(jiān)聽指定地址。
創(chuàng)新互聯(lián)公司主要從事成都網(wǎng)站建設(shè)、成都做網(wǎng)站、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)奉新,十年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575
格式如下
SCHEME是可選的,默認(rèn)值為dns://,也可以指定為tls://,grpc://或者h(yuǎn)ttps://。
ZONE是可選的,指定了此dnsserver可以服務(wù)的域名前綴,如果不指定,則默認(rèn)為root,表示可以接收所有的dns請求。
PORT是選項(xiàng)的,指定了監(jiān)聽端口號,默認(rèn)為53,如果這里指定了端口號,則不能通過參數(shù)-dns.port覆蓋。
一塊上面格式的配置表示一個dnsserver,稱為serverblock,可以配置多個serverblock表示多個dnsserver。
下面通過一個例子說明,如下配置文件指定了4個serverblock,即4個dnsserver,第一個監(jiān)聽端口5300,后面三個監(jiān)聽同一個端口53,每個dnsserver指定了特定的插件。
下圖為配置的簡略圖
a. 從圖中可看到插件執(zhí)行順序不是配置文件中的順序,這是因?yàn)椴寮?zhí)行順序是在源碼目錄中的plugin.cfg指定的,一旦編譯后,順序就固定了。
b. .根serverblock雖然指定了health,但是圖中卻沒有,這是因?yàn)閔ealth插件不參與dns請求的處理。能處理dns請求的插件必須提供如下兩個接口函數(shù)。
dns請求處理流程
收到dns請求后,首先根據(jù)域名匹配zone找到對應(yīng)的dnsserver(最長匹配優(yōu)先),如果沒有匹配到,則使用默認(rèn)的root dnsserver。
找到dnsserver后,就要按照插件順序執(zhí)行其中配置的插件,當(dāng)然并不是配置的插件都會被執(zhí)行,如果某個插件成功找到記錄,則返回成功,否則根據(jù)插件是否配置了fallthrough等來決定是否執(zhí)行下一個插件。
plugin.cfg
源碼目錄下的plugin.cfg指定了插件執(zhí)行順序,如果想添加插件,可按格式添加到指定位置。
源碼目錄下的Makefile根據(jù)plugin.cfg生成了兩個go文件:zplugin.go和zdirectives.go。
core/dnsserver/zdirectives.go將所有插件名字放在一個數(shù)組中。
codedns 主函數(shù)
codedns.go 首先導(dǎo)入了包"github點(diǎn)抗 /coredns/coredns/core/plugin",此包內(nèi)只有一個文件zplugin.go,此文件為自動生成的,主要導(dǎo)入了所有的插件,執(zhí)行每個插件的init函數(shù)。
接著執(zhí)行 run.go Run
此文件又引入了包"github點(diǎn)抗 /coredns/coredns/core/dnsserver",其init函數(shù)在 dnsserver/register.go 文件中,如下所示,主要是注冊了serverType
剩下的就是解析參數(shù),解析配置文件后,執(zhí)行caddy.Start。
這里就是根據(jù)配置文件中指定的serverblock,執(zhí)行插件的setup進(jìn)行初始化,創(chuàng)建對應(yīng)的server,開始監(jiān)聽dns請求
tcp協(xié)議調(diào)用Serve,udp協(xié)議調(diào)用ServePacket
收到DNS請求后,調(diào)用ServeDNS,根據(jù)域名匹配dnsserver,如果沒有匹配不到則使用根dnsserver,然后執(zhí)行dnsserver中配置的插件
以k8s插件為例
參考
//如何寫coredns插件
//coredns源碼分析
//NodeLocal DNSCache
cobra是一個提供簡單接口來創(chuàng)建強(qiáng)大的現(xiàn)代CLI界面的庫類似git git tools,cobra也是一個應(yīng)用程序,它會生成你的應(yīng)用程序的腳手架來快速開發(fā)基于cobra的應(yīng)用程序
cobra提供:
cobra建立在命令、參數(shù)、標(biāo)志的結(jié)構(gòu)之上
commands代表動作,args是事物,flags是動作的修飾符
最好的應(yīng)用程序在使用時(shí)讀起來就像句子,因此,用戶直觀地知道如何與它們交互
模式如下:APPNAME VERB NOUN --ADJECTIVE. or APPNAME COMMAND ARG --FLAG(APPNAME 動詞 名詞 形容詞 或者 APPNAME 命令 參數(shù) 標(biāo)志)
一些真實(shí)世界的好例子可以更好地說明這一點(diǎn)
kubectl 命令更能體現(xiàn)APPNAME 動詞 名詞 形容詞
如下的例子,server 是command,port是flag
這個命令中,我們告訴git 克隆url
命令是應(yīng)用程序的中心點(diǎn),應(yīng)用程序支持的每一個交互都包含在一個命令中,命令可以有子命令,也可以運(yùn)行操作
在上面的例子中,server是命令
更多關(guān)于cobra.Command
flag是一種修改命令行為的方式,cobra支持完全兼容POSIX標(biāo)志,也支持go flag package,cobra可以定義到子命令上的標(biāo)志,也可以僅對該命令可用的標(biāo)志
在上面的命令中,port是標(biāo)志
標(biāo)志的功能由 pflag library 提供,pflag library是flag標(biāo)準(zhǔn)庫的一個分支,在添加POSIX兼容性的同時(shí)維護(hù)相同的接口。
使用cobra很簡單,首先,使用go get按照最新版本的庫,這個命令會安裝cobra可執(zhí)行程序以及庫和依賴項(xiàng)
下一步,引入cobra到應(yīng)用程序中
雖然歡迎您提供自己的組織,但通?;贑obra的應(yīng)用程序?qū)⒆裱韵陆M織結(jié)構(gòu):
在Cobra應(yīng)用程序中,main.go文件通常非常簡單。它有一個目的:初始化Cobra。
使用cobra生成器
cobra提供了程序用來創(chuàng)建你的應(yīng)用程序然后添加你想添加的命令,這是將cobra引入應(yīng)用程序最簡單的方式
這兒 你可以發(fā)現(xiàn)關(guān)于cobra的更多信息
要手動實(shí)現(xiàn)cobra,需要創(chuàng)建一個main.go 和rootCmd文件,可以根據(jù)需要提供其他命令
Cobra不需要任何特殊的構(gòu)造器。只需創(chuàng)建命令。
理想情況下,您可以將其放在app/cmd/root.go中:
在init()函數(shù)中定義標(biāo)志和處理配置
例子如下,cmd/root.go:
創(chuàng)建main.go
使用root命令,您需要讓主函數(shù)執(zhí)行它。為清楚起見,Execute應(yīng)該在根目錄下運(yùn)行,盡管它可以在任何命令上調(diào)用。
在Cobra應(yīng)用程序中,main.go文件通常非常簡單。它有一個目的:初始化Cobra。
可以定義其他命令,通常每個命令在cmd/目錄中都有自己的文件。
如果要創(chuàng)建版本命令,可以創(chuàng)建cmd/version.go并用以下內(nèi)容填充它:
如果希望將錯誤返回給命令的調(diào)用者,可以使用RunE。
然后可以在execute函數(shù)調(diào)用中捕獲錯誤。
標(biāo)志提供修飾符來控制操作命令的操作方式。
由于標(biāo)志是在不同的位置定義和使用的,因此我們需要在外部定義一個具有正確作用域的變量來分配要使用的標(biāo)志。
有兩種不同的方法來分配標(biāo)志。
標(biāo)志可以是“持久”的,這意味著該標(biāo)志將可用于分配給它的命令以及該命令下的每個命令。對于全局標(biāo)志,在根上指定一個標(biāo)志作為持久標(biāo)志。
也可以在本地分配一個標(biāo)志,該標(biāo)志只應(yīng)用于該特定命令。
默認(rèn)情況下,Cobra只解析目標(biāo)命令上的本地標(biāo)志,而忽略父命令上的任何本地標(biāo)志。通過啟用Command.TraverseChildren,Cobra將在執(zhí)行目標(biāo)命令之前解析每個命令上的本地標(biāo)志。
使用viper綁定標(biāo)志
在本例中,持久標(biāo)志author與viper綁定。注意:當(dāng)用戶未提供--author標(biāo)志時(shí),變量author將不會設(shè)置為config中的值。
更多關(guān)于 viper的文檔
Flags默認(rèn)是可選的,如果希望命令在未設(shè)置標(biāo)志時(shí)報(bào)告錯誤,請根據(jù)需要進(jìn)行標(biāo)記:
持久性Flags
可以使用命令的Args字段指定位置參數(shù)的驗(yàn)證。
內(nèi)置了以下驗(yàn)證器:
在下面的示例中,我們定義了三個命令。兩個是頂級命令,一個(cmdTimes)是頂級命令之一的子命令。在這種情況下,根是不可執(zhí)行的,這意味著需要一個子命令。這是通過不為“rootCmd”提供“Run”來實(shí)現(xiàn)的。
我們只為一個命令定義了一個標(biāo)志。
有關(guān)標(biāo)志的更多文檔,請?jiān)L問
對于一個更完整的例子更大的應(yīng)用程序,請檢查 Hugo 。
當(dāng)您有子命令時(shí),Cobra會自動將help命令添加到應(yīng)用程序中。當(dāng)用戶運(yùn)行“應(yīng)用程序幫助”時(shí),將調(diào)用此函數(shù)。此外,help還支持所有其他命令作為輸入。例如,您有一個名為“create”的命令,沒有任何附加配置;調(diào)用“app help create”時(shí),Cobra將起作用。每個命令都會自動添加“-help”標(biāo)志。
以下輸出由Cobra自動生成。除了命令和標(biāo)志定義之外,不需要任何東西。
幫助就像其他命令一樣。它周圍沒有特殊的邏輯或行為。事實(shí)上,你可以提供你想提供的。
您可以為默認(rèn)命令提供自己的幫助命令或模板,以用于以下功能:
當(dāng)用戶提供無效的標(biāo)志或無效的命令時(shí),Cobra通過向用戶顯示“用法”來響應(yīng)。
你可以從上面的幫助中認(rèn)識到這一點(diǎn)。這是因?yàn)槟J(rèn)幫助將用法作為其輸出的一部分嵌入。
您可以提供自己的使用函數(shù)或模板供Cobra使用。與幫助一樣,函數(shù)和模板也可以通過公共方法重寫:
如果在root命令上設(shè)置了version字段,Cobra會添加一個頂級的'--version'標(biāo)志。運(yùn)行帶有“-version”標(biāo)志的應(yīng)用程序?qū)⑹褂冒姹灸0鍖姹敬蛴〉綐?biāo)準(zhǔn)輸出??梢允褂胏md.SetVersionTemplate(s string)函數(shù)自定義模板。
可以在命令的主運(yùn)行函數(shù)之前或之后運(yùn)行函數(shù)。PersistentPreRun和PreRun函數(shù)將在運(yùn)行之前執(zhí)行。PersistentPostRun和PostRun將在運(yùn)行后執(zhí)行。如果子函數(shù)不聲明自己的函數(shù),則它們將繼承Persistent*Run函數(shù)。這些函數(shù)按以下順序運(yùn)行:
輸出:
當(dāng)發(fā)生“未知命令”錯誤時(shí),Cobra將打印自動建議。這使得Cobra在發(fā)生拼寫錯誤時(shí)的行為類似于git命令。例如:
基于注冊的每個子命令和Levenshtein距離的實(shí)現(xiàn),建議是自動的。匹配最小距離2(忽略大小寫)的每個已注冊命令都將顯示為建議。
如果需要在命令中禁用建議或調(diào)整字符串距離,請使用:
or
您還可以使用SuggestFor屬性顯式設(shè)置將為其建議給定命令的名稱。這允許對在字符串距離方面不接近的字符串提供建議,但在您的一組命令中是有意義的,并且對于某些您不需要別名的字符串。例子:
Cobra可以基于子命令、標(biāo)志等生成文檔。請?jiān)?docs generation文檔 中閱讀更多關(guān)于它的信息。
Cobra可以為以下shell生成shell完成文件:bash、zsh、fish、PowerShell。如果您在命令中添加更多信息,這些補(bǔ)全功能將非常強(qiáng)大和靈活。在 Shell Completions 中閱讀更多關(guān)于它的信息。
Cobra is released under the Apache 2.0 license. See LICENSE.txt
import "workname/packetfolder"
導(dǎo)入多個包
方法調(diào)用 包名.函數(shù)//不是函數(shù)或結(jié)構(gòu)體所處文件或文件夾名
packagename.Func()
前面加個點(diǎn)表示省略調(diào)用,那么調(diào)用該模塊里面的函數(shù),可以不用寫模塊名稱了:
當(dāng)導(dǎo)入一個包時(shí),該包下的文件里所有init()函數(shù)都會被執(zhí)行,然而,有些時(shí)候我們并不需要把整個包都導(dǎo)入進(jìn)來,僅僅是是希望它執(zhí)行init()函數(shù)而已。下劃線的作用僅僅是為了調(diào)用init()函數(shù),所以無法通過包名來調(diào)用包中的其他函數(shù)
import _ package
變量聲明必須要使用否則會報(bào)錯。
全局變量運(yùn)行聲明但不使用。
func 函數(shù)名 (參數(shù)1,參數(shù)2,...) (返回值a 類型a, 返回值b 類型b,...)
func 函數(shù)名 (參數(shù)1,參數(shù)2,...) (返回值類型1, 返回值類型2,...)
func (this *結(jié)構(gòu)體名) 函數(shù)名(參數(shù) string) (返回值類型1, 返回值類型2){}
使用大小來區(qū)分函數(shù)可見性
大寫是public類型
小寫是private類型
func prifunc int{}
func pubfunc int{}
聲明靜態(tài)變量
const value int
定義變量
var value int
聲明一般類型、接口和結(jié)構(gòu)體
聲明函數(shù)
func function () int{}
go里面所有的空值對應(yīng)如下
通道類型
內(nèi)建函數(shù) new 用來分配內(nèi)存,它的第一個參數(shù)是一個類型,不是一個值,它的返回值是一個指向新分配類型零值的指針
func new(Type) *Type
[這位博主有非常詳細(xì)的分析]
Go 語言支持并發(fā),我們只需要通過 go 關(guān)鍵字來開啟 goroutine 即可。
goroutine 是輕量級線程,goroutine 的調(diào)度是由 Golang 運(yùn)行時(shí)進(jìn)行管理的。
同一個程序中的所有 goroutine 共享同一個地址空間。
語法格式如下:
通道(channel)是用來傳遞數(shù)據(jù)的一個數(shù)據(jù)結(jié)構(gòu)。
通道的聲明
通道可用于兩個 goroutine 之間通過傳遞一個指定類型的值來同步運(yùn)行和通訊。操作符 - 用于指定通道的方向,發(fā)送或接收。如果未指定方向,則為雙向通道。
[這里有比較詳細(xì)的用例]
go里面的空接口可以指代任何類型(無論是變量還是函數(shù))
聲明空接口
go里面的的強(qiáng)制類型轉(zhuǎn)換語法為:
int(data)
如果是接口類型的強(qiáng)制轉(zhuǎn)成其他類型的語法為:
go里面的強(qiáng)制轉(zhuǎn)換是將值復(fù)制過去,所以在數(shù)據(jù)量的時(shí)候有比較高的運(yùn)行代價(jià)
在go http每一次go serve(l)都會構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請求或高并發(fā)的場景中,頻繁創(chuàng)建銷毀對象,會導(dǎo)致GC壓力。解決辦法之一就是使用對象復(fù)用技術(shù)。在http協(xié)議層之下,使用對象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上,可以使用對象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度,也可也加快請求處理的速度。
先上一個測試:
結(jié)論是這樣的:
貌似使用池化,性能弱爆了???這似乎與net/http使用sync.pool池化Request來優(yōu)化性能的選擇相違背。這同時(shí)也說明了一個問題,好的東西,如果濫用反而造成了性能成倍的下降。在看過pool原理之后,結(jié)合實(shí)例,將給出正確的使用方法,并給出預(yù)期的效果。
sync.Pool是一個 協(xié)程安全 的 臨時(shí)對象池 。數(shù)據(jù)結(jié)構(gòu)如下:
local 成員的真實(shí)類型是一個 poolLocal 數(shù)組,localSize 是數(shù)組長度。這涉及到Pool實(shí)現(xiàn),pool為每個P分配了一個對象,P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時(shí),goroutine綁定的P有對象,先用自己的,沒有去偷其它P的。go語言將數(shù)據(jù)分散在了各個真正運(yùn)行的P中,降低了鎖競爭,提高了并發(fā)能力。
不要習(xí)慣性地誤認(rèn)為New是一個關(guān)鍵字,這里的New是Pool的一個字段,也是一個閉包名稱。其API:
如果不指定New字段,對象池為空時(shí)會返回nil,而不是一個新構(gòu)建的對象。Get()到的對象是隨機(jī)的。
原生sync.Pool的問題是,Pool中的對象會被GC清理掉,這使得sync.Pool只適合做簡單地對象池,不適合作連接池。
pool創(chuàng)建時(shí)不能指定大小,沒有數(shù)量限制。pool中對象會被GC清掉,只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊了一個poolCleanup()函數(shù),這個方法在GC之前執(zhí)行,清空pool中的所有緩存對象。
為使多協(xié)程使用同一個POOL。最基本的想法就是每個協(xié)程,加鎖去操作共享的POOL,這顯然是低效的。而進(jìn)一步改進(jìn),類似于ConcurrentHashMap(JDK7)的分Segment,提高其并發(fā)性可以一定程度性緩解。
注意到pool中的對象是無差異性的,加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個綁定協(xié)程的P都分配一個子池。每個子池又分為私有池和共享列表。共享列表是分別存放在各個P之上的共享區(qū)域,而不是各個P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對象不需要加鎖,拿共享列表中的就需要加鎖了。
Get對象過程:
Put過程:
如何解決Get最壞情況遍歷所有P才獲取得對象呢:
方法1止前sync.pool并沒有這樣的設(shè)置。方法2由于goroutine被分配到哪個P由調(diào)度器調(diào)度不可控,無法確保其平衡。
由于不可控的GC導(dǎo)致生命周期過短,且池大小不可控,因而不適合作連接池。僅適用于增加對象重用機(jī)率,減少GC負(fù)擔(dān)。2
執(zhí)行結(jié)果:
單線程情況下,遍歷其它無元素的P,長時(shí)間加鎖性能低下。啟用協(xié)程改善。
結(jié)果:
測試場景在goroutines遠(yuǎn)大于GOMAXPROCS情況下,與非池化性能差異巨大。
測試結(jié)果
可以看到同樣使用*sync.pool,較大池大小的命中率較高,性能遠(yuǎn)高于空池。
結(jié)論:pool在一定的使用條件下提高并發(fā)性能,條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS,條件2是池中對象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個原因就是使對象在各個P中均勻分布。
池pool和緩存cache的區(qū)別。池的意思是,池內(nèi)對象是可以互換的,不關(guān)心具體值,甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射,緩存里的值互不相同,清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。
池空間回收的幾種方式。一些是GC前回收,一些是基于時(shí)鐘或弱引用回收。最終確定在GC時(shí)回收Pool內(nèi)對象,即不回避GC。用java的GC解釋弱引用。GC的四種引用:強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒有引用,弱引用GC但有空間則保留,軟引用GC即清除。ThreadLocal的值為弱引用的例子。
regexp 包為了保證并發(fā)時(shí)使用同一個正則,而維護(hù)了一組狀態(tài)機(jī)。
fmt包做字串拼接,從sync.pool拿[]byte對象。避免頻繁構(gòu)建再GC效率高很多。