Обучение с подкреплением по обратной связи людей (RLHF)
Определение
RLHF — обучение с подкреплением, в котором обратная связь людей задаёт сигнал вознаграждения для настройки модели. В InstructGPT отдельная модель училась оценивать ответы по человеческим сравнениям, затем её оценки использовали для дообучения языковой модели.
Также ищут: Reinforcement Learning from Human Feedback · RLHF
Зачем это знать
Позволяет проверить, откуда берётся оценка ответа, чьи предпочтения она отражает и что ещё нужно проверить по фактам.
Карта понятия
Что подтверждено
В схеме InstructGPT сначала дообучали языковую модель на демонстрациях с учителем (SFT), затем обучали модель вознаграждения на сравнениях ответов. После этого языковую модель обновляли методом PPO — алгоритмом обучения с подкреплением — по оценкам модели вознаграждения.
Граница применимости: Ouyang и соавторы, arXiv:2203.02155v1, §3.1, шаги 1–3. Конкретная схема обучения по обратной связи людей (RLHF), не обязательное устройство всех её реализаций.
В InstructGPT разметчики ранжировали ответы модели на один запрос. Полученные сравнения использовали для обучения модели вознаграждения: она получала запрос и ответ и выдавала численную оценку, позволяющую предсказывать предпочтения.
Граница применимости: Ouyang и соавторы, §§3.1, 3.5; сравнения и модель вознаграждения в описанном процессе.
На этапе PPO в InstructGPT языковую модель, подготовленную обучением с учителем, обновляли по оценкам модели вознаграждения. Штраф Кульбака — Лейблера (KL) в целевой функции учитывал отклонение вероятностей ответов от фиксированной начальной модели.
Граница применимости: Ouyang и соавторы, §3.1, приложения C.3–C.4; Rafailov и соавторы, §3, формула (3). Описание модели с KL-штрафом, не утверждение об одинаковом устройстве всех реализаций RLHF.
Авторы InstructGPT связывают результат с предпочтениями конкретных разметчиков и исследователей, а не с универсальными человеческими ценностями. Они также сообщают, что модель продолжала выдумывать факты.
Граница применимости: Ouyang и соавторы, §§5.2–5.3; границы представительности разметки и ошибки моделей в описанной работе.
Что проверить
- Разделите демонстрации целевых ответов и сравнения нескольких ответов.
- Запишите, кто размечал предпочтения и по каким инструкциям.
- Зафиксируйте модель вознаграждения, начальную языковую модель и целевую функцию обучения.
- Проверьте фактическую точность отдельно от предпочтений разметчиков.
Первоисточники
- Training language models to follow instructions with human feedback
SFT на демонстрациях, сравнения ответов и модель вознаграждения в InstructGPT. Выбор модели и расхождение метрик относятся к описанному эксперименту; предпочтения группы не подтверждают истинность каждого ответа.
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Метод DPO на готовых парах предпочтений, функция потерь относительно опорной модели и зависимость доли побед в автоматической оценке от инструкции. Сравнительное превосходство методов из опытов не обобщается.
Утверждения: 03