研究の概要

蓄電池エネルギー貯蔵システム（BESS）の運用には、秒単位の周波数調整（短期）と週〜月単位の電池劣化管理（長期）という2つの相反するタイムスケールがある。本研究は、モデル予測制御（MPC）と強化学習（RL）を組み合わせた階層型制御フレームワークを提案する。

高レベル層（MPC）が長期の劣化を考慮したセットポイントを生成し、低レベル層（RL）がリアルタイムでそのセットポイントを追跡しながら短期利益を最大化する。2つのRLエージェントを設計：①劣化認識エージェント（オフライン学習でセットポイント生成）②追跡エージェント（高速リアルタイム実行）。

主な発見・成果

  • 蓄電池寿命をMPC基準比84%延命：長期劣化を組み込んだセットポイント管理の効果
  • 運用収益を34%向上：短期利益の最大化と長期寿命管理の両立
  • RLによる非線形制御ポリシーにより、MPCのモデル線形化近似が不要
  • 秒スケールのリアルタイム追跡でオンライン計算量を大幅削減

実務への応用

蓄電池の収益最大化と長寿命化は従来トレードオフとされてきたが、本フレームワークは「MPC（方向性を決める）×RL（現場で動く）」の役割分担でその両立を実現した。周波数調整市場やネットワーク支援サービスへ参加する大型蓄電池設備の制御システム設計において、従来のMPC単独や純粋RL単独より優れた現実的な選択肢となる。日本の需給調整市場第三次調整力（ΔkW）での蓄電池参加における制御アーキテクチャの参考として有用。