● 在使用MATLAB強(qiáng)化學(xué)習(xí)工具箱時(shí)我們主要思考的env和agent兩個(gè)方面。

● 首先看env，MATLAB提供了幾個(gè)已經(jīng)搭建好的，只要

env = rlPredefinedEnv(env名字)

env名字可以選擇以下幾個(gè)

'BasicGridWorld'

簡(jiǎn)單的網(wǎng)格環(huán)境

'CartPole-Discrete'

離散型外力輸入值的倒立擺

'CartPole-Continuous'

連續(xù)型外力輸入值的倒立擺

'DoubleIntegrator-Discrete'

'DoubleIntegrator-Continuous'

一個(gè)木塊在木板上滑動(dòng)，就是這樣

'SimplePendulumWithImage-Discrete'

'SimplePendulumWithImage-Continuous'

一根擺桿，可以觀(guān)測(cè)到圖像

'WaterFallGridWorld-Stochastic'

'WaterFallGridWorld-Deterministic'

一個(gè)逆水行舟的網(wǎng)格環(huán)境，全局有外力在把a(bǔ)gent往回推

其中網(wǎng)格環(huán)境是可以從空網(wǎng)格自定義起點(diǎn)終點(diǎn)障礙物的，也可以添加全局外力，甚至跳躍障礙物的特殊功能

還有2個(gè)是simulink搭建的環(huán)境模型

'SimplePendulumModel-Discrete'

'SimplePendulumModel-Continuous'

'CartPoleSimscapeModel-Discrete'

'CartPoleSimscapeModel-Continuous'

功能上和m語(yǔ)言搭建的一致

除了上面說(shuō)的用基礎(chǔ)網(wǎng)格搭建環(huán)境，還可以搭建復(fù)雜環(huán)境，需要注意的是這樣幾點(diǎn)

1. 初始化，設(shè)定環(huán)境的輸入輸出，根據(jù)情況選擇離散還是連續(xù)，維度也要在這里確定

2. 執(zhí)行一步，計(jì)算輸出，reward，是否結(jié)束

3. 繪圖，重點(diǎn)關(guān)注是否繪圖，因?yàn)橛?xùn)練過(guò)程每次都繪圖嚴(yán)重降低效率

另外我們還試驗(yàn)成功了調(diào)用Python搭建強(qiáng)化學(xué)習(xí)環(huán)境的方法MATLAB調(diào)用pygame實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)環(huán)境

● 接著就是agent了，可以完全自行編程實(shí)現(xiàn)，但這就失去了使用MATLAB的意義，要是整個(gè)功能都是在使用m語(yǔ)言基礎(chǔ)函數(shù)構(gòu)建，真的不要用MATLAB，隔壁python真香

提供的agent有這樣的幾個(gè)(排名不分先后，以字母序)

rlACAgent | rlDDPGAgent | rlDQNAgent | rlPGAgent | rlQAgent | rlSARSAAgent

其中rlQAgent和rlSARSAAgent只能在輸入輸出都是離散型而且維度較小時(shí)使用

如果在構(gòu)建agent時(shí)需要搭建神經(jīng)網(wǎng)絡(luò)，直接編寫(xiě)的話(huà)基本上就是一句一層，基礎(chǔ)的

卷基層convolution2dLayer，

池化層averagePooling2dLayer，

全連接層fullyConnectedLayer，

一句添加一層

也可以打開(kāi)Deep Network Designer工具界面操作來(lái)搭建網(wǎng)絡(luò)結(jié)構(gòu)

這個(gè)工具的使用和simulink一樣，從左邊拖拽想要的網(wǎng)絡(luò)層到中間，在右邊設(shè)置參數(shù)，連接起來(lái)就可以導(dǎo)出網(wǎng)絡(luò)結(jié)構(gòu)了