GRPO

Group Relative Policy Optimization，群体相对策略优化

一则 PPO 的优化方案，同属于 RL 的 PO 范畴。

ref: 2402.03300

概述

问题：PPO 中 critic 的计算要使用模型生成评估。

而 GRPO 是对 PPO 进一步的简化、优化。即为用多次模拟的平均值取代 PPO 的价值函数。

$$\begin{array}{rl}{\mathcal{J}}_{GRPO}(\theta )=\mathbb{E}[\sum _{i=1}^G& (\min \left(\frac{{\pi }_{\theta }\left(o_i\right)}{{\pi }_{{\theta }_{\text{old }}}\left(o_i\right)}{A}_i,\mathrm{clip}\left(\frac{{\pi }_{\theta }\left(o_i\right)}{{\pi }_{{\theta }_{\text{old }}}\left(o_i\right)},1-\epsilon ,1+\epsilon \right)A_i\right)\\ & -\beta {\mathbb{D}}_{KL}\left({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}}\right))],\end{array}$$

其中

$$A_i=\frac{r_i-\mathrm{mean}\left(\left\{r_1,r_2,\cdots ,r_G\right\}\right)}{\mathrm{std}\left(\left\{r_1,r_2,\cdots ,r_G\right\}\right)}$$

GRPO 为从 PPO 中替换了 $A_i$ 的 critic ，用多次的评估成绩来评估平均的价值函数。计算的简化导致训练更加简单，更节约算力。