Навчання з підкріпленням без навчання за допомогою часової різниці

Вступ до нового підходу до навчання з підкріпленням

У цій статті я представлю алгоритм навчання з підкріпленням (RL), заснований на альтернативному парадигмі: розділяй і володарюй. На відміну від традиційних методів, цей алгоритм не спирається на навчання за допомогою часової різниці (TD), яке має проблеми зі масштабованістю, і добре підходить для завдань тривалої тривалості.

Контекст: Навчання з підкріпленням без політики

Перед тим, як перейти до суті, давайте уточнимо, що означає навчання з підкріпленням без політики. Існує дві основні категорії алгоритмів у RL: навчання з підкріпленням на політиці та без політики. Навчання на політиці вимагає використання лише недавніх даних, зібраних поточною політикою, що означає, що старі дані повинні бути відкинуті з кожним оновленням політики. Алгоритми, такі як PPO та GRPO, належать до цієї категорії. Навчання без політики, з іншого боку, дозволяє використовувати будь-який тип даних, включаючи минулі досвіди, людські демонстрації та дані з Інтернету. Це робить навчання без політики більш загальним і гнучким, хоча воно також є більш складним. Q-learning є добре відомим алгоритмом у цій галузі.

У сферах, де збір даних є дорогим, таких як робототехніка або системи діалогу, використання навчання без політики часто стає необхідним, що робить це критично важливою проблемою для вирішення. Станом на 2025 рік ми розробили задовільні рішення для масштабованості навчання на політиці (такі як PPO та його варіанти), але ми ще не знайшли «масштабований» алгоритм навчання без політики, придатний для складних завдань тривалої тривалості.

Парадигми навчання значень: Часова різниця та Монте-Карло

У навчанні без політики ми зазвичай тренуємо функцію значення, використовуючи навчання за допомогою часової різниці, застосовуючи правило оновлення Беллмана. Основна проблема полягає в тому, що помилка в наступному значенні поширюється на поточне значення через процес бутстрепінгу, що призводить до накопичення помилок протягом усього горизонту. Ця динаміка ускладнює застосування TD-навчання до завдань тривалої тривалості.

Щоб пом'якшити цю проблему, дослідники змішали навчання TD з поверненнями Монте-Карло. Наприклад, навчання TD-$n$ використовує фактичні повернення Монте-Карло для перших $n$ кроків, а потім застосовує бутстрепінгове значення для решти. Хоча це зменшує кількість рекурсій Беллмана, це не вирішує фундаментально проблему накопичення помилок. Крім того, занадто велике $n$ може призвести до високої дисперсії та субоптимальності.

Третій підхід: Розділяй і володарюй

Я стверджую, що третій підхід, розділяй і володарюй, може запропонувати ідеальне рішення для навчання без політики, дозволяючи адаптуватися до завдань довільної тривалості. Цей метод логарифмічно зменшує кількість рекурсій Беллмана. Ключова ідея полягає в тому, щоб розділити траєкторію на два сегменти однакової довжини та об'єднати їх значення для оновлення значення повної траєкторії. Це дозволяє зменшити кількість рекурсій логарифмічно, не вимагаючи вибору гіперпараметра, такого як $n$, і уникаючи проблем з дисперсією або субоптимальністю, які виникають з навчанням TD-$n$.

Практичний алгоритм

Нещодавно, разом з Адitya, ми досягли значного прогресу в реалізації цієї ідеї. Нам вдалося адаптувати навчання за значенням, використовуючи парадигму розділяй і володарюй, до складних завдань, зокрема в галузі навчання з підкріпленням, що залежить від цілі. Цей тип навчання має на меті створити політику, здатну досягати будь-якого стану з будь-якого іншого стану, що забезпечує природну структуру для застосування цього методу.

У детермінованому середовищі відстань найкоротшого шляху між двома станами $s$ та $g$ повинна дотримуватися трикутної нерівності. Ми можемо перенести цю нерівність на правило оновлення Беллмана. Це означає, що ми можемо оновити значення $V(s, g)$, використовуючи два менші значення, $V(s, w)$ та $V(w, g)$, де $w$ є оптимальною проміжною точкою. Цей процес представляє собою саме те правило оновлення, яке ми шукали.

Висновок

Хоча цей метод має цікаві перспективи, залишається значна проблема: як вибрати оптимальну проміжну ціль $w$. Це питання залишається відкритим і потребує подальших досліджень для повного вирішення. Однак парадигма розділяй і володарюй може дійсно трансформувати навчання з підкріпленням, пропонуючи надійне рішення для проблем масштабованості та складності.

Якщо у вас є питання або ви хочете обговорити ці концепції детальніше, не соромтеся Зв'язатися зі мною.