強化学習の学習済み方策の転移について

6 views (last 30 days)
一馬 平田
一馬 平田 on 1 Aug 2021
Answered: Hiro on 2 Aug 2021
お世話になります。
強化学習(DQN)の学習済み方策を別の制御モデルに転移させる時、学習済みのQ-Networkを転移させることは可能でしょうか。
また、転移学習の例題では最終層以外の層の学習率を0にすることで最終層以外の重みを凍結させていましたが、一部の層の重みのみを凍結することは可能でしょうか。

Accepted Answer

Hiro
Hiro on 2 Aug 2021
やったことが無いのですが、可能だと思います。
DQN なので、rlQValueRepresentation で学習済みのネットワークを渡せば良いと思います。
また、学習済みのネットワークを追加で学習する際に、一部のレイヤーの一部のパラメータの学習率をコントロールすることが任意で可能です。setLearnRateFactor で 任意のパラメータの学習係数を指定できます。
これにグローバルの学習率が掛け合わさって、そのパラメータの学習率になります。従って、これを使ってゼロを設定すれば、そのパラメータは学習において更新されません。

More Answers (0)

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!