這篇文章主要講解了“什么是Config和Trainer”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“什么是Config和Trainer”吧！
我們提供的服務(wù)有：成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、長(zhǎng)寧ssl等。為近千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的長(zhǎng)寧網(wǎng)站制作公司
configs：儲(chǔ)存各種網(wǎng)絡(luò)的yaml配置文件
datasets：存放數(shù)據(jù)集的地方
detectron2：運(yùn)行代碼的核心組件
tools：提供了運(yùn)行代碼的入口以及一切可視化的代碼文件。
demo：顯而易見就是demo
docs: 同樣顯而易見。。
tests：提供了一些測(cè)試代碼
projects：提供了真實(shí)的項(xiàng)目代碼示例，之后自己的代碼結(jié)構(gòu)可參照這個(gè)結(jié)構(gòu)寫。
進(jìn)入tools/train_net.py的main函數(shù)，第一行cfg = setup(args)是配置參數(shù)。Detectron2中的參數(shù)配置使用了yacs這個(gè)庫，這個(gè)庫能夠很好地重用和拼接超參數(shù)文件配置。
我們先看一下detrctron2/config/的文件結(jié)構(gòu)：
compat.py: 應(yīng)該是對(duì)之前的Detectron庫的兼容吧，可忽略。三門峽婦科醫(yī)院http://www.0398hfyy.com/
config.py: 定義了一個(gè)CfgNode類，這個(gè)類繼承自fvcore庫(fb寫的一個(gè)共公共庫，提供一些共享的函數(shù)，方便各種不同項(xiàng)目使用)中定義的CfgNode,總之就是不斷繼承。。。繼承關(guān)系是這樣的：detrctron2.config.CfgNode->fcvore.common.config.CfgNode->yacs.config.CfgNode->dict
另外該文件還提供了get_cfg()方法，該方法會(huì)返回一個(gè)含有默認(rèn)配置的CfgNode,而這些默認(rèn)的配置值在下面的default.py中定義了，之所以這樣做是因?yàn)橐渲玫哪J(rèn)值太多了，所以為了文檔清晰才寫到了一個(gè)新的文件中去，不過，yacs庫的作者也建議這樣做。
default.py: 如上面所說，該文件定義了各種參數(shù)的默認(rèn)值。
了解配置函數(shù)的方法后我們?cè)倩氐?code>tools/train_net.py，我們一行一行的來理解。
tools/train_net.py
from detectron2.config import get_cfg from detectron2.engine import DefaultTrainer, default_argument_parser, default_setup, hooks, launch ... def setup(args): """ Create configs and perform basic setups. """ cfg = get_cfg() cfg.merge_from_file(args.config_file) cfg.merge_from_list(args.opts) cfg.freeze() default_setup(cfg, args) return cfg
cfg = get_cfg()： 獲取已經(jīng)配置好默認(rèn)參數(shù)的cfg
cfg.merge_from_file(args.config_file)：config_file是指定的yaml配置文件，通過merge_from_file這個(gè)函數(shù)會(huì)將yaml文件中指定的超參數(shù)對(duì)默認(rèn)值進(jìn)行覆蓋。
cfg.merge_from_list(args.opts)：merge_from_list作用同上面的類似，只不過是通過命令行的方式覆蓋。
例如
重慶分公司
重慶分公司
opts = ["SYSTEM.NUM_GPUS", 8, "TRAIN.SCALES", "(1, 2, 3, 4)"]
cfg.merge_from_list(opts)
print("cfg\n",cfg)那么最后會(huì)有
cfg ... (一些默認(rèn)值超參數(shù)) SYSTEM: NUM_GPUS: 8 TRAIN: SCALES: (1,2,3,4)
cfg.freeze(): freeze函數(shù)的作用是將超參數(shù)值凍結(jié)，避免被程序不小心修改。
default_setup(cfg, args)：default_setup是detectron2/engine/default.py中提供的一個(gè)默認(rèn)配置函數(shù)，具體是怎么配置的這里不詳細(xì)說明了。不過需要知道的值這個(gè)文件中還提供了很多其他的配置函數(shù)，例如還提供了兩個(gè)類：DefaultPredictor和DefaultTrainer。
既然上面提到了DefaultTrainer，那么我們就從這個(gè)類入手了解一下detectron2.engine,其代碼結(jié)構(gòu)如下：
train_loop.py: 這個(gè)函數(shù)主要作用是提供了三個(gè)重要的類：
register_hooks:這個(gè)很好理解，就是將用戶定義的一些hooks進(jìn)行注冊(cè)，說大白話就是把若干個(gè)Hook放在一個(gè)list里面去。之后只需要遍歷這個(gè)list依次執(zhí)行就可以了。
第二類其實(shí)就是上面提到的遍歷hook list并執(zhí)行hook，不過這個(gè)遍歷有四種，分別是before_train,after_train,before_step,after_step。還有一個(gè)就是run_step,這個(gè)函數(shù)其實(shí)就是平常我們?cè)诰帉懹?xùn)練過程的代碼，例如讀數(shù)據(jù)，訓(xùn)練模型，獲取損失值，求導(dǎo)數(shù)，反向梯度更新等,只不過在這個(gè)類里面沒有定義。
第三類就是train函數(shù)，它有兩個(gè)參數(shù)，分別是開始的迭代數(shù)和最大的迭代數(shù)。之后就是重復(fù)依次執(zhí)行第二類中的函數(shù)指定迭代次數(shù)。
HookBase: 這是一個(gè)Hook的基類，用于指定在訓(xùn)練前后或者每一個(gè)step前后需要做什么事情，所以根據(jù)特定的需求需要對(duì)如下四種方法做不同的定義：before_train,after_train,before_step,after_step。以before_step。
TrainerBase: 該類中定義的函數(shù)可以歸納成三種：
SimpleTrainer:其實(shí)就是繼承自TrainerBase,然后定義了run_step等方法。我們后面也可以繼承這個(gè)類做進(jìn)一步的自定義。
defaults.py: 上面已介紹，提供了兩個(gè)類：DefaultPredictor和DefaultTrainer，這個(gè)DefaultTrainer就繼承自SimpleTrainer,所以存在如下繼承關(guān)系：detectron2.engine.default.DefaultTrainer->detectron2.engine.train_loop.SimpleTrainer->detectron2.engine.train_loop.TrainerBase
hooks.py:定義了很多繼承自train_loop.HookBase的Hook。
launch.py: 前面提到過，可以理解成代碼啟動(dòng)器，可以根據(jù)命令決定是否采用分布式訓(xùn)練（或者單機(jī)多卡）或者單機(jī)單卡訓(xùn)練。
好了，我們繼續(xù)回到tools/train_net.py的main函數(shù),代碼如下所示。
def main(args): cfg = setup(args) if args.eval_only: ... trainer = Trainer(cfg) trainer.resume_or_load(resume=args.resume) if cfg.TEST.AUG.ENABLED: trainer.register_hooks( [hooks.EvalHook(0, lambda: trainer.test_with_TTA(cfg, trainer.model))] ) return trainer.train()
可以看到下面定義了一個(gè)Trainer,它繼承自detectron2.engine.default.DefaultTrainer，這個(gè)父類會(huì)自動(dòng)解析cfg。之后只需要調(diào)用trainer.train()就可以開始訓(xùn)練了。
感謝各位的閱讀，以上就是“什么是Config和Trainer”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)什么是Config和Trainer這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
