AI調整の隠れた炭素コスト：人間のフィードバックからの強化学習におけるカーボンアウェアスケジューリング

Unofficial AI-generated summary based on the public title and abstract. Not an official translation.

🔬研究者:Provides the first rigorous carbon measurement of RLHF training phases and a reproducible scheduling method, enabling further research in carbon-efficient ML.

🏢実務担当者:Offers an open-source scheduling tool (CarbonAware-RLHF) that can be integrated into AI training pipelines to reduce carbon footprint with minimal quality loss.

🏛政策担当者:Highlights the need for carbon accounting standards for AI and the potential of scheduling-based interventions, while cautioning against rebound effects.

Reinforcement Learning from Human Feedback (RLHF)は、大規模言語モデル（LLM）を人間の価値観に整合させるための支配的なパラダイムとなっているが、その環境コストは学術的な議論と実務者のツールの両方においてほぼ見えないままである。本論文は、RLHFの炭素フットプリントの最初のフェーズ分解された実証的特性評価を提示し、限界運転排出率（MOER）に基づく炭素会計、リアルタイムの系統炭素強度（CI）シグナル、および複数地域での90日間の展開研究を組み合わせる。これは、従来の機械学習（ML）炭素測定研究では扱われていなかった範囲と解像度である。我々は、Proximal Policy Optimization（PPO）フェーズだけで、全モデル規模における総学習排出量の59〜64%を占め、単一のLLaMA-65B整合実行で78.9 kgCO2eqに達することを見出す。我々は、リアルタイムのCI予測を用いてRLHFフェーズを低炭素ウィンドウに向けて適応的に一時停止、再順序付け、または時間的にシフトするオープンソースのスケジューリングフレームワークであるCarbonAware-RLHFを紹介する。米国（US）の6つの独立系統運用者（ISO）系統地域（312ジョブ、条件ごとに3つの独立シード）にわたる90日間の展開において、CarbonAware-RLHFは、わずか−0.22 pp（パーセントポイント）の報酬モデル精度低下とMT-Bench安全性評価における統計的に有意な変化なしで、平均炭素削減38.9%を達成し、評価されたすべての戦略の中で最良の炭素品質トレードオフを示す。炭素削減は系統CI変動と強く相関し（決定係数R2 = 0.91）、実用的な展開ヒューリスティックを提供する。我々は、地理的公平性、炭素会計基準、およびジェボンズのパラドックスを、技術的なスケジューリングだけでは解決できない構造的課題として議論する。すべてのデータ、コード、および再現性アーティファクトはhttps://github.com/Saher-Elsayed/carbonaware-rlhfで公開されている。

AI 翻訳（deepseek-v4-flash）。 正確を期す場合は下の原文を参照してください。

Reinforcement Learning from Human Feedback (RLHF) has become the dominant paradigm for aligning large language models (LLMs) with human values, yet its environmental cost remains nearly invisible in both academic discourse and practitioner tooling. This paper presents the first phase-resolved empirical characterization of RLHF’s carbon footprint, combining Marginal Operating Emission Rate (MOER) based carbon accounting, real-time grid carbon intensity (CI) signals, and a multi-region 90-day deployment study, a scope and resolution not addressed by prior machine-learning (ML) carbon measurement work. We find that the Proximal Policy Optimization (PPO) phase alone accounts for 59–64% of total training emissions across all model scales, reaching 78.9 kgCO2eq for a single LLaMA-65B alignment run. We introduce CarbonAware-RLHF, an open-source scheduling framework that adaptively pauses, reorders, or temporally shifts RLHF phases toward low-carbon windows using real-time CI forecasts. In a 90-day deployment across six United States (US) Independent System Operator (ISO) grid regions (312 jobs, three independent seeds per condition), CarbonAware-RLHF achieves a mean carbon reduction of 38.9% with only a − 0.22 pp (percentage-point) reward model accuracy degradation and no statistically significant change on MT-Bench safety evaluation, the best carbon-quality trade-off among all evaluated strategies. Carbon savings correlate strongly with grid CI variability (coefficient of determination R2 = 0.91), providing a practical deployment heuristic. We discuss geographic equity, carbon accounting standards, and the Jevons paradox as structural challenges that technical scheduling alone cannot resolve. All data, code, and reproducibility artifacts are released at https://github.com/Saher-Elsayed/carbonaware-rlhf.

• openalex https://doi.org/10.1145/3811242.3819088first seen 2026-07-26 05:26:59