真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

go語言內(nèi)存泄露,go 閉包 內(nèi)存泄露

go語言的出現(xiàn)非常奇怪,有幾個問題請高手答案一下~~~~??

1:go與c語言相比,go有垃圾回收,不會造成內(nèi)存泄露問題,go的語法簡潔優(yōu)美,同樣的c++100行代碼go大概50行可以做到,go的目標(biāo)是能做C++能做的事,雖然目前可能不太實(shí)際

創(chuàng)新互聯(lián)是專業(yè)的欒城網(wǎng)站建設(shè)公司,欒城接單;提供網(wǎng)站建設(shè)、網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行欒城網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

2:go的并行機(jī)制并不是一般的線程,通過channel和goroutine來實(shí)現(xiàn),比線程還要輕量級很多,所以go適合高并發(fā)的服務(wù)器端

3:go是系統(tǒng)級別的語言,相當(dāng)于c語言,java c#都是算比較高級的語言,這個不太好比,效率的話目前確實(shí)是要高一些,而且不需要外部依賴,所以go還是很強(qiáng)大的

一個程序會產(chǎn)生哪幾個文件夾?

一個程序產(chǎn)生的文件夾如下:

一、程序的組成部分

Linux下程序大都是由以下幾部分組成:

二進(jìn)制文件:也就是可以運(yùn)行的程序文件

庫文件:就是通常我們見到的lib目錄下的文件

配置文件:

幫助文檔:通常是我們在Linux下用man命令查看的命令的文檔

二、Linux下程序的存放目錄

Linux程序的存放目錄大致有三個地方:

/etc, /bin, /sbin, /lib :系統(tǒng)啟動就需要用到的程序,這些目錄不能掛載額外的分區(qū),必須在根文件系統(tǒng)的分區(qū)上

/usr/bin,/usr/sbin,/usr/lib:操作系統(tǒng)核心功能,可以單獨(dú)分區(qū)

/usr/local/bin,/usr/local/sbin:/usr/local/lib:/usr/local/etc:/usr/local/man:這幾個目錄用于安裝第三方程序,分別對應(yīng)了二進(jìn)制文件、庫文件、配置文件、幫助文檔的目錄

通常來說源碼安裝程序時,就安裝在 /usr/local目錄下

原文地址:

推薦文章

ubuntu16.04環(huán)境下fatal error: lua.h: No such file or directory

DB2數(shù)據(jù)庫建表報錯

MySQL、Oracle與DB2數(shù)據(jù)庫差異

jQueryrocket

jQueryrocket

js文件替換

PHP源文件編碼與變量編碼的判斷

PHP判斷字符串所屬編碼:ASCII、GB2312、GBK、UTF-8、ISO-8859-1

PHP的URL編碼解碼與原理、自定義實(shí)現(xiàn)

Odoo13_前端圖標(biāo)按鈕實(shí)例

Odoo13_向?qū)?yīng)用之軟刪除

macOS一條命令查看當(dāng)前wifi密碼

編譯redis-5.0.8報錯/usr/bin/ld: cannot find -latomic解決方法

頻繁調(diào)用ConcurrentLinkedQueue類的offer和remove方法會內(nèi)存泄露

記一次排查問題用到工具

【jvisualvm】堆查器使用的內(nèi)存不足

開發(fā)規(guī)范

各種http報錯的報錯的狀態(tài)碼的分析

Springboot整合Elasticsearch

Wang ?? Free Fast Stable Best Just try it_v2....

md5

表空間

create_index

非額度合同和額度合同

如何在linux中查找python安裝包的路徑

Golang中的SingleFlight與CyclicBarrier

linux安裝protoc

protobuf 的優(yōu)缺點(diǎn)

Xshell 連接 VirtualBox

限制 input 輸入框只能輸入純數(shù)字

【golang】海量數(shù)據(jù)去重-布隆過濾器

在做域名爆破中,遇到了把一個300G的子域名json文件進(jìn)行去重,一開始是考慮使用字典進(jìn)行去重,但是數(shù)據(jù)量大了,會造成內(nèi)存泄露??淳W(wǎng)上資料介紹了一種方案,就是使用布隆過濾器。

布隆過濾器是一種數(shù)據(jù)結(jié)構(gòu),概率型數(shù)據(jù)結(jié)構(gòu),特定是高效插入和查詢,可以用來告訴你“某一值一定不存在或者kennel存在”。

相比于傳統(tǒng)的map、set等數(shù)據(jù)結(jié)構(gòu),占用空間更少,但其返回結(jié)果是概率型的,不確定。

布隆過濾器內(nèi)部維護(hù)一個bitArray(位數(shù)組),開始所有數(shù)據(jù)為0,當(dāng)一個元素過來時,能過多個哈希函數(shù)(hash1、hash2、hash3)計算不同的hash值,并通過hash值找到bitArray的下標(biāo),將里面的值改為由0變?yōu)?。布隆過濾器有一個誤判率,誤判率越低,數(shù)組越長,所在空間越大,誤判率越高,數(shù)組越小,所占空間越小。

這里貼上一個技術(shù)大牛的博客地址,里面對布隆過濾器用法以及在redis里面處理緩存穿透問題的詳細(xì)介紹。

Go 語言內(nèi)存管理(三):逃逸分析

Go 語言較之 C 語言一個很大的優(yōu)勢就是自帶 GC 功能,可 GC 并不是沒有代價的。寫 C 語言的時候,在一個函數(shù)內(nèi)聲明的變量,在函數(shù)退出后會自動釋放掉,因?yàn)檫@些變量分配在棧上。如果你期望變量的數(shù)據(jù)可以在函數(shù)退出后仍然能被訪問,就需要調(diào)用 malloc 方法在堆上申請內(nèi)存,如果程序不再需要這塊內(nèi)存了,再調(diào)用 free 方法釋放掉。Go 語言不需要你主動調(diào)用 malloc 來分配堆空間,編譯器會自動分析,找出需要 malloc 的變量,使用堆內(nèi)存。編譯器的這個分析過程就叫做逃逸分析。

所以你在一個函數(shù)中通過 dict := make(map[string]int) 創(chuàng)建一個 map 變量,其背后的數(shù)據(jù)是放在??臻g上還是堆空間上,是不一定的。這要看編譯器分析的結(jié)果。

可逃逸分析并不是百分百準(zhǔn)確的,它有缺陷。有的時候你會發(fā)現(xiàn)有些變量其實(shí)在??臻g上分配完全沒問題的,但編譯后程序還是把這些數(shù)據(jù)放在了堆上。如果你了解 Go 語言編譯器逃逸分析的機(jī)制,在寫代碼的時候就可以有意識地繞開這些缺陷,使你的程序更高效。

Go 語言雖然在內(nèi)存管理方面降低了編程門檻,即使你不了解堆棧也能正常開發(fā),但如果你要在性能上較真的話,還是要掌握這些基礎(chǔ)知識。

這里不對堆內(nèi)存和棧內(nèi)存的區(qū)別做太多闡述。簡單來說就是, 棧分配廉價,堆分配昂貴。 棧空間會隨著一個函數(shù)的結(jié)束自動釋放,堆空間需要時間 GC 模塊不斷地跟蹤掃描回收。如果對這兩個概念有些迷糊,建議閱讀下面 2 個文章:

這里舉一個小例子,來對比下堆棧的差別:

stack 函數(shù)中的變量 i 在函數(shù)退出會自動釋放;而 heap 函數(shù)返回的是對變量 i 的引用,也就是說 heap() 退出后,表示變量 i 還要能被訪問,它會自動被分配到堆空間上。

他們編譯出來的代碼如下:

邏輯的復(fù)雜度不言而喻,從上面的匯編中可看到, heap() 函數(shù)調(diào)用了 runtime.newobject() 方法,它會調(diào)用 mallocgc 方法從 mcache 上申請內(nèi)存,申請的內(nèi)部邏輯前面文章已經(jīng)講述過。堆內(nèi)存分配不僅分配上邏輯比??臻g分配復(fù)雜,它最致命的是會帶來很大的管理成本,Go 語言要消耗很多的計算資源對其進(jìn)行標(biāo)記回收(也就是 GC 成本)。

Go 編輯器會自動幫我們找出需要進(jìn)行動態(tài)分配的變量,它是在編譯時追蹤一個變量的生命周期,如果能確認(rèn)一個數(shù)據(jù)只在函數(shù)空間內(nèi)訪問,不會被外部使用,則使用??臻g,否則就要使用堆空間。

我們在 go build 編譯代碼時,可使用 -gcflags '-m' 參數(shù)來查看逃逸分析日志。

以上面的兩個函數(shù)為例,編譯的日志輸出是:

日志中的 i escapes to heap 表示該變量數(shù)據(jù)逃逸到了堆上。

需要使用堆空間,所以逃逸,這沒什么可爭議的。但編譯器有時會將 不需要 使用堆空間的變量,也逃逸掉。這里是容易出現(xiàn)性能問題的大坑。網(wǎng)上有很多相關(guān)文章,列舉了一些導(dǎo)致逃逸情況,其實(shí)總結(jié)起來就一句話:

多級間接賦值容易導(dǎo)致逃逸 。

這里的多級間接指的是,對某個引用類對象中的引用類成員進(jìn)行賦值。Go 語言中的引用類數(shù)據(jù)類型有 func , interface , slice , map , chan , *Type(指針) 。

記住公式 Data.Field = Value ,如果 Data , Field 都是引用類的數(shù)據(jù)類型,則會導(dǎo)致 Value 逃逸。這里的等號 = 不單單只賦值,也表示參數(shù)傳遞。

根據(jù)公式,我們假設(shè)一個變量 data 是以下幾種類型,相應(yīng)的可以得出結(jié)論:

下面給出一些實(shí)際的例子:

如果變量值是一個函數(shù),函數(shù)的參數(shù)又是引用類型,則傳遞給它的參數(shù)都會逃逸。

上例中 te 的類型是 func(*int) ,屬于引用類型,參數(shù) *int 也是引用類型,則調(diào)用 te(j) 形成了為 te 的參數(shù)(成員) *int 賦值的現(xiàn)象,即 te.i = j 會導(dǎo)致逃逸。代碼中其他幾種調(diào)用都沒有形成 多級間接賦值 情況。

同理,如果函數(shù)的參數(shù)類型是 slice , map 或 interface{} 都會導(dǎo)致參數(shù)逃逸。

匿名函數(shù)的調(diào)用也是一樣的,它本質(zhì)上也是一個函數(shù)變量。有興趣的可以自己測試一下。

只要使用了 Interface 類型(不是 interafce{} ),那么賦值給它的變量一定會逃逸。因?yàn)? interfaceVariable.Method() 先是間接的定位到它的實(shí)際值,再調(diào)用實(shí)際值的同名方法,執(zhí)行時實(shí)際值作為參數(shù)傳遞給方法。相當(dāng)于 interfaceVariable.Method.this = realValue

向 channel 中發(fā)送數(shù)據(jù),本質(zhì)上就是為 channel 內(nèi)部的成員賦值,就像給一個 slice 中的某一項(xiàng)賦值一樣。所以 chan *Type , chan map[Type]Type , chan []Type , chan interface{} 類型都會導(dǎo)致發(fā)送到 channel 中的數(shù)據(jù)逃逸。

這本來也是情理之中的,發(fā)送給 channel 的數(shù)據(jù)是要與其他函數(shù)分享的,為了保證發(fā)送過去的指針依然可用,只能使用堆分配。

可變參數(shù)如 func(arg ...string) 實(shí)際與 func(arg []string) 是一樣的,會增加一層訪問路徑。這也是 fmt.Sprintf 總是會使參數(shù)逃逸的原因。

例子非常多,這里不能一一列舉,我們只需要記住分析方法就好,即,2 級或更多級的訪問賦值會 容易 導(dǎo)致數(shù)據(jù)逃逸。這里加上 容易 二字是因?yàn)殡S著語言的發(fā)展,相信這些問題會被慢慢解決,但現(xiàn)階段,這個可以作為我們分析逃逸現(xiàn)象的依據(jù)。

下面代碼中包含 2 種很常規(guī)的寫法,但他們卻有著很大的性能差距,建議自己想下為什么。

Benchmark 和 pprof 給出的結(jié)果:

熟悉堆棧概念可以讓我們更容易看透 Go 程序的性能問題,并進(jìn)行優(yōu)化。

多級間接賦值會導(dǎo)致 Go 編譯器出現(xiàn)不必要的逃逸,在一些情況下可能我們只需要修改一下數(shù)據(jù)結(jié)構(gòu)就會使性能有大幅提升。這也是很多人不推薦在 Go 中使用指針的原因,因?yàn)樗鼤黾右患壴L問路徑,而 map , slice , interface{} 等類型是不可避免要用到的,為了減少不必要的逃逸,只能拿指針開刀了。

大多數(shù)情況下,性能優(yōu)化都會為程序帶來一定的復(fù)雜度。建議實(shí)際項(xiàng)目中還是怎么方便怎么寫,功能完成后通過性能分析找到瓶頸所在,再對局部進(jìn)行優(yōu)化。


網(wǎng)站欄目:go語言內(nèi)存泄露,go 閉包 內(nèi)存泄露
瀏覽路徑:http://weahome.cn/article/heijec.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部