[發(fā)明專利]一種電網(wǎng)無(wú)功電壓控制模型訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010413883.4
• 申請(qǐng)日: 2020-05-15
• 公開（公告）號(hào): CN111666713B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 吳文傳;劉昊天;孫宏斌;王彬;郭慶來(lái);夏天
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06N3/04;G06N3/08;G09B9/00;G06Q50/06
• 代理公司: 北京知聯(lián)天下知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11594
• 代理人: 張陸軍

本發(fā)明提供了一種電網(wǎng)無(wú)功電壓控制模型訓(xùn)練方法，所述方法包括：建立電網(wǎng)仿真模型；根據(jù)電網(wǎng)無(wú)功電壓控制目標(biāo)，建立無(wú)功電壓優(yōu)化模型；結(jié)合電網(wǎng)仿真模型和無(wú)功電壓優(yōu)化模型，搭建基于對(duì)抗馬爾科夫決策過程的交互訓(xùn)練環(huán)境；通過聯(lián)合對(duì)抗訓(xùn)練算法訓(xùn)練電網(wǎng)無(wú)功電壓控制模型；將訓(xùn)練后的電網(wǎng)無(wú)功電壓控制模型遷移到在線系統(tǒng)。本發(fā)明所訓(xùn)練得到的電網(wǎng)無(wú)功電壓控制模型，相較于傳統(tǒng)方法，具備可遷移的特性，可以直接用于在線電網(wǎng)無(wú)功電壓控制。相較于現(xiàn)有的基于強(qiáng)化學(xué)習(xí)的電網(wǎng)優(yōu)化方法，本發(fā)明的在線控制訓(xùn)練成本與安全隱患大幅降低，更適合部署在實(shí)際電網(wǎng)系統(tǒng)中。

技術(shù)領(lǐng)域

本發(fā)明屬于電力系統(tǒng)運(yùn)行和控制技術(shù)領(lǐng)域，特別涉及一種電網(wǎng)無(wú)功電壓控制模型訓(xùn)練方法及系統(tǒng)。

背景技術(shù)

近年來(lái)，分布式可再生能源發(fā)電設(shè)備(DG，Distributed Generation)滲透率的不斷提高，使新能源場(chǎng)站及其匯集區(qū)的電網(wǎng)調(diào)控愈發(fā)重要。DG作為一種靈活性資源，其裝機(jī)容量往往大于其額定有功功率，且響應(yīng)速度快，存在大量的可調(diào)控空間。為了解決大規(guī)模DG并網(wǎng)功率倒送帶來(lái)的電壓越限、設(shè)備脫網(wǎng)和網(wǎng)損嚴(yán)重等問題，針對(duì)DG的電網(wǎng)無(wú)功電壓控制系統(tǒng)已成為關(guān)鍵措施。然而，由于電網(wǎng)的真實(shí)物理系統(tǒng)模型難以獲得，傳統(tǒng)基于模型的優(yōu)化方法無(wú)法保障控制效果，常常出現(xiàn)控制指令遠(yuǎn)離最優(yōu)點(diǎn)、電網(wǎng)運(yùn)行在次優(yōu)狀態(tài)的情況。因此，數(shù)據(jù)驅(qū)動(dòng)的無(wú)模型的優(yōu)化方法，特別是近年來(lái)發(fā)展迅速的深度強(qiáng)化學(xué)習(xí)方法，是電網(wǎng)無(wú)功電壓控制的重要手段。但數(shù)據(jù)驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)方法，往往需要大量的在線訓(xùn)練，這既產(chǎn)生了高昂的訓(xùn)練成本，又導(dǎo)致了額外的安全隱患。

為了應(yīng)對(duì)在線訓(xùn)練效率低下帶來(lái)的成本問題與安全問題，可以采用提前用仿真模型進(jìn)行離線訓(xùn)練的方式。然而，由于離線模型并非真實(shí)物理系統(tǒng)的電網(wǎng)模型，存在模型偏差，如果采用一般的深度強(qiáng)化學(xué)習(xí)方法，訓(xùn)練得到的離線模型沒有可遷移的特性。這就意味著，將離線訓(xùn)練得到的模型用在在線系統(tǒng)上時(shí)，在開始階段可能出現(xiàn)控制效果不理想的問題。因此，有必要研究一種電網(wǎng)無(wú)功電壓控制模型訓(xùn)練方法，訓(xùn)練出具備可遷移特性的深度強(qiáng)化學(xué)習(xí)模型，使其可以安全高效地應(yīng)用到在線電網(wǎng)無(wú)功電壓控制系統(tǒng)上，在避免模型不完備帶來(lái)控制偏差的同時(shí)，節(jié)省在線訓(xùn)練的成本，大幅提高在線控制的安全性與效率。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提供了一種電網(wǎng)無(wú)功電壓控制模型訓(xùn)練方法，所述方法包括：

建立電網(wǎng)仿真模型；

根據(jù)電網(wǎng)無(wú)功電壓控制目標(biāo)，建立無(wú)功電壓優(yōu)化模型；

結(jié)合電網(wǎng)仿真模型和無(wú)功電壓優(yōu)化模型，搭建基于對(duì)抗馬爾科夫決策過程的交互訓(xùn)練環(huán)境；

通過聯(lián)合對(duì)抗訓(xùn)練算法訓(xùn)練電網(wǎng)無(wú)功電壓控制模型；

將訓(xùn)練后的電網(wǎng)無(wú)功電壓控制模型遷移到在線系統(tǒng)。

進(jìn)一步地，所述建立電網(wǎng)仿真模型，包括：

對(duì)于n+1個(gè)節(jié)點(diǎn)的區(qū)域電網(wǎng)，構(gòu)建無(wú)向圖，如下：

Π(N,E)

其中，N為電網(wǎng)節(jié)點(diǎn)集合，E為電網(wǎng)支路集合，E＝(i,j)∈N×N，i、j均為電網(wǎng)節(jié)點(diǎn)。

進(jìn)一步地，所述建立電網(wǎng)仿真模型，還包括：

構(gòu)建電網(wǎng)潮流方程，如下：

其中，V_i,θ_i分別為電網(wǎng)節(jié)點(diǎn)i的電壓幅值和相角，所述V_j，θ_j分別為電網(wǎng)節(jié)點(diǎn)j的電壓幅值和相角，G_ij,B_ij分別為電網(wǎng)支路ij的電導(dǎo)和電納，P_ij,Q_ij分別為電網(wǎng)支路ij的有功功率和無(wú)功功率，θ_ij為電網(wǎng)支路ij的相角差；