| ✔
|
Напиши статью для MachineLearning.ru на тему «Self-Distillation Policy Optimization».
Требования:
- сразу укажи, что SDPO предложен в работе «Reinforcement Learning via Self-Distillation»;
- это должна быть энциклопедическая вики-статья, а не блоговый обзор;
- объясни, чем SDPO отличается от обычного RLVR и почему scalar reward создаёт bottleneck credit assignment;
- введи понятие rich feedback и self-teacher как той же модели, но с дополнительным feedback-контекстом;
- обязательно приведи основную SDPO-loss формулу через KL-дивергенцию между student и self-teacher distributions;
- отдельно объясни градиентную интерпретацию SDPO как token-level policy gradient;
- сопоставь SDPO с GRPO и объясни, в чём преимущества каждого подхода;
- упомяни практические детали: stopgrad, regularized teacher, JSD/KL, top-K distillation;
- кратко опиши результаты на LiveCodeBench v6 и идею test-time self-distillation;
- используй вики-совместимые формулы через <tex>...</tex>;
- в конце добавь разделы «См. также» и «Литература».
Текст должен быть плотным, аккуратным и рассчитанным на читателя, знакомого с RL для LLM.
Оформление http://www.machinelearning.ru/wiki/index.php?title=MachineLearning:Инструктаж
|
