《智慧灌溉決策的強化學(xué)習(xí)方法-武漢大學(xué)水利水電學(xué)院陳夢婷》-農(nóng)業(yè)水土工程專業(yè)學(xué)術(shù)研討會

這個課題是在羅玉峰教授指導(dǎo)下，由博士生陳夢婷完成，論文已經(jīng)發(fā)表在科學(xué)導(dǎo)報ScienceDirect 上：https://doi.org/10.1016/j.agwat.2021.106838

論文主要是想通過學(xué)習(xí)歷史上灌區(qū)區(qū)域的降水量來進行灌溉決策，學(xué)習(xí)歷史的降水量采用的是強化學(xué)習(xí)方法。強化學(xué)習(xí)方法與一般的學(xué)習(xí)方法不同，一般的機器學(xué)習(xí)方法有兩種，一種就是有監(jiān)督學(xué)習(xí)，一種是無監(jiān)督的學(xué)習(xí)，但是強化學(xué)習(xí)方法完全沒有監(jiān)督和有監(jiān)督的說法，它就是一個通過歷史數(shù)據(jù)分析，在追求利益最大化的原則下進行學(xué)習(xí)。完全是機器自主學(xué)習(xí)，不用人工干預(yù)，再設(shè)定標志等參數(shù)。

這個研究的意義在于充分利用降雨的水量來進行農(nóng)業(yè)灌溉，這是農(nóng)業(yè)節(jié)水的有效途徑，因為通過天氣預(yù)報制定未來降雨情況下的灌溉決策，可以以提高降雨水量的灌溉利用率，但是同時也存在著風(fēng)險，這個風(fēng)險就是如果天氣預(yù)報不準確或不確定，那么我們有可能就會面臨著作物由于得不到合適的灌溉而減產(chǎn)的風(fēng)險，但是可以通過強化學(xué)習(xí)方法可以減少水稻灌溉決策風(fēng)險。

強化學(xué)習(xí)里面涉及的兩個主體，一個叫做智能體，一個叫做環(huán)境，環(huán)境得到的狀態(tài)通過獎賞來判斷，然后通過設(shè)定動作來調(diào)整算法參數(shù)，環(huán)境E涉及到狀態(tài)空間S，獎賞函數(shù)R，動作空間A，轉(zhuǎn)移概率P。

狀態(tài)空間S為待灌溉區(qū)域決策周期內(nèi)，作物生長期的某一天的環(huán)境參數(shù)狀態(tài)，向量表達見:

動作空間A為關(guān)鍵決策的選項，當(dāng)前動態(tài)決策周期t的決策變量有三種，a0為不灌溉，a1為灌溉至灌水上限的一半，a2為灌溉至上灌水的上限值。

轉(zhuǎn)移函數(shù)P為在決策周期內(nèi)執(zhí)行灌溉決策后，環(huán)境從當(dāng)前狀態(tài)轉(zhuǎn)移到另一個狀態(tài)，包括作物蒸散發(fā)量的更新，未來預(yù)報天氣數(shù)據(jù)的更新，土壤含水量或水層深度的變化，水層深度轉(zhuǎn)移概率可以表達為:

獎賞函數(shù)R為決策周期內(nèi)執(zhí)行灌溉決策后，環(huán)境從當(dāng)前狀態(tài)轉(zhuǎn)移到另一個狀態(tài)時反饋的獎勵，獎賞函數(shù)表示式為。

環(huán)境參數(shù)修正，根據(jù)實際氣象條件和灌溉決策修正環(huán)境狀態(tài)參數(shù)，水層深度的修正公式為:

節(jié)水效果與常規(guī)決策相比，采用強化學(xué)習(xí)灌溉決策，灌水次數(shù)，灌水量，排水量總體少于常規(guī)角色，早、中和晚稻灌水次數(shù)平均分別減少1.4次、0.6次和1.3次平均節(jié)水率分別為23% 、6%和3%排水平均分別減少7%、 8%和9%，未出現(xiàn)減產(chǎn)情況。

結(jié)論

天氣預(yù)報的天氣類型含有降雨信息，可用于灌溉決策的制定，但會存在漏報和空報的情況，與常規(guī)決策相比，采用強化學(xué)習(xí)灌溉決策，灌溉次數(shù)，灌溉水量和排水量均有明顯降低，平均分別減少1.0次，23毫米和21毫米。

強化學(xué)習(xí)灌溉決策，能夠在訓(xùn)練后總結(jié)前面的灌溉分析結(jié)果，并根據(jù)當(dāng)前的田間水分狀況和天氣預(yù)報信息，制定出合適的灌溉決策，從而提高降水利用率和節(jié)約灌溉用水。

文章來源于網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系我們刪除。