Apprendimento per rinforzo senza apprendimento per differenza temporale
Introduzione a un nuovo approccio all'apprendimento per rinforzo
In questo articolo, vi presenterò un algoritmo di apprendimento per rinforzo (RL) basato su un paradigma alternativo: dividere per conquistare. A differenza dei metodi tradizionali, questo algoritmo non si basa sull'apprendimento per differenza temporale (TD), che presenta sfide in termini di scalabilità, ed è ben adattato per compiti a lungo termine.
Contesto: Apprendimento per rinforzo fuori politica
Prima di entrare nel vivo dell'argomento, chiarifichiamo cosa significa l'apprendimento per rinforzo fuori politica. Esistono due grandi categorie di algoritmi in RL: apprendimento per rinforzo su politica e fuori politica. L'apprendimento su politica richiede di utilizzare solo dati recenti raccolti dalla politica attuale, il che implica dover abbandonare i dati più vecchi ad ogni aggiornamento della politica. Algoritmi come PPO e GRPO appartengono a questa categoria. Al contrario, l'apprendimento fuori politica consente di utilizzare qualsiasi tipo di dati, comprese esperienze passate, dimostrazioni umane e dati provenienti da Internet. Questo rende l'apprendimento fuori politica più generale e flessibile, sebbene sia anche più complesso. Il Q-learning è un algoritmo ben noto in questo campo.
In settori in cui la raccolta di dati è costosa, come la robotica o i sistemi di dialogo, l'utilizzo dell'apprendimento fuori politica diventa spesso indispensabile, rendendolo un problema cruciale da risolvere. Nel 2025, abbiamo sviluppato soluzioni soddisfacenti per la scalabilità dell'apprendimento su politica (come PPO e le sue varianti), ma non abbiamo ancora trovato un algoritmo di apprendimento fuori politica "scalabile" adatto a compiti complessi e a lungo termine.
Paradigmi di apprendimento del valore: Differenza temporale e Monte Carlo
Nell'apprendimento fuori politica, di solito formiamo una funzione di valore utilizzando l'apprendimento per differenza temporale, applicando la regola di aggiornamento di Bellman. La principale sfida è che l'errore nel valore successivo si propaga al valore attuale attraverso il processo di bootstrap, portando a un'accumulazione di errori su tutto l'orizzonte. Questa dinamica rende difficile applicare l'apprendimento TD a compiti a lungo termine.
Per attenuare questo problema, i ricercatori hanno mescolato l'apprendimento TD con i ritorni di Monte Carlo. Ad esempio, l'apprendimento TD-$n$ utilizza i ritorni reali di Monte Carlo per i primi $n$ passi, quindi applica il valore bootstrappato per il resto. Anche se questo riduce il numero di ricorsioni di Bellman, non risolve fondamentalmente il problema dell'accumulo di errori. Inoltre, un $n$ troppo grande può portare a un'elevata varianza e a una sotto-optimalità.
Un terzo approccio: Dividere per conquistare
Sostengo che un terzo approccio, dividere per conquistare, potrebbe offrire una soluzione ideale per l'apprendimento fuori politica, consentendo di adattarsi a compiti di durata arbitraria. Questo metodo riduce in modo logaritmico il numero di ricorsioni di Bellman. L'idea chiave è dividere una traiettoria in due segmenti di lunghezza uguale e combinare i loro valori per aggiornare il valore dell'intera traiettoria. Questo consente di diminuire il numero di ricorsioni in modo logaritmico, senza necessitare di scelte di iperparametri come $n$, evitando al contempo i problemi di varianza o di sotto-optimalità riscontrati con l'apprendimento TD-$n$.
Un algoritmo pratico
Recentemente, insieme ad Aditya, abbiamo fatto progressi significativi per concretizzare questa idea. Siamo riusciti ad adattare l'apprendimento per valore utilizzando il paradigma dividere per conquistare a compiti complessi, in particolare nel campo dell'apprendimento per rinforzo condizionato da un obiettivo. Questo tipo di apprendimento mira a creare una politica capace di raggiungere qualsiasi stato da qualsiasi altro stato, offrendo una struttura naturale per applicare questo metodo.
In un ambiente deterministico, la distanza del percorso più breve tra due stati $s$ e $g$ deve rispettare l'ineguaglianza triangolare. Possiamo trasporre questa ineguaglianza a una regola di aggiornamento di Bellman. Ciò significa che possiamo aggiornare il valore di $V(s, g)$ utilizzando due valori più piccoli, $V(s, w)$ e $V(w, g)$, dove $w$ è il punto intermedio ottimale. Questo processo rappresenta esattamente la regola di aggiornamento che stavamo cercando.
Conclusione
Sebbene questo metodo presenti promesse interessanti, una sfida significativa rimane: come selezionare l'obiettivo intermedio ottimale $w$. Questa domanda rimane aperta e richiede ulteriori ricerche per essere completamente risolta. Tuttavia, il paradigma dividere per conquistare potrebbe davvero trasformare l'apprendimento per rinforzo offrendo una soluzione robusta ai problemi di scalabilità e complessità.
Per qualsiasi domanda o per discutere ulteriormente di questi concetti, non esitate a Contattami.