Ідентифікація взаємодій в масштабах для мовних моделей

Вступ до інтерпретованості мовних моделей

Розуміння систем машинного навчання, особливо великих мовних моделей (LLMs), є великою проблемою в сучасному штучному інтелекті. Дослідження інтерпретованості має на меті зробити процес прийняття рішень більш прозорим як для розробників моделей, так і для кінцевих користувачів. Це є важливим кроком до створення більш надійного та безпечного ШІ.

Аналіз LLM з різних точок зору

Щоб зрозуміти поведінку цих складних систем, важливо аналізувати їх з різних перспектив. Виділяються три ключові підходи: атрибуція характеристик, яка ідентифікує елементи введення, що впливають на прогноз; атрибуція даних, яка пов'язує поведінку моделі з значущими прикладами з навчального набору; та механістична інтерпретованість, яка досліджує функції внутрішніх компонентів моделі. Кожна з цих перспектив підкреслює вроджену складність аналізу моделей великого масштабу.

Складність в масштабах: постійна проблема

Основна складність полягає в тому, що поведінка моделей не може бути зведена до ізольованих компонентів. Навпаки, вона виникає з складних залежностей і схем. Щоб досягти оптимальної продуктивності, ці моделі синтезують складні відносини між характеристиками та витягують загальні шаблони з різноманітних навчальних прикладів. Внаслідок цього методи інтерпретованості також повинні захоплювати ці впливові взаємодії. Збільшення кількості характеристик, точок навчальних даних і компонентів моделі призводить до експоненційного зростання потенційних взаємодій, що робить вичерпний аналіз практично неможливим.

SPEX та ProxySPEX: обіцяючі алгоритми

У цьому контексті ми представляємо SPEX (Spectral Explainer) та ProxySPEX, алгоритми, розроблені для ідентифікації цих критичних взаємодій в масштабах. У центрі нашого підходу лежить концепція абляції, яка полягає в вимірюванні впливу елемента, спостерігаючи за змінами, які відбуваються, коли він видаляється.

Атрибуція через абляцію

• Атрибуція характеристик: Ми маскуємо або видаляємо конкретні сегменти вхідного запиту та вимірюємо зміщення в прогнозах.
• Атрибуція даних: Ми навчаємо моделі на різних підмножинах навчального набору, оцінюючи, як вихід моделі на тестовій точці змінюється за відсутності конкретних навчальних даних.
• Атрибуція компонентів моделі: Ми втручаємося в прямий прохід моделі, видаляючи вплив певних внутрішніх компонентів, щоб визначити, які внутрішні структури відповідають за прогнози моделі.

Для кожного методу мета залишається тією ж: ізолювати фактори прийняття рішення, систематично порушуючи систему, сподіваючись виявити ключові взаємодії. Однак кожна абляція має значну вартість, чи то через дорогі виклики інференції, чи через повторне навчання.

Рамка SPEX: ефективність та інновації

Рамка SPEX вирізняється своїм використанням теорії сигналів та теорії кодування, що дозволяє покращити виявлення взаємодій на масштабах, які значно перевищують попередні методи. Використовуючи ключове структурне спостереження — більшість взаємодій не є впливовими — SPEX переформулює складну задачу пошуку в задачу розв'язуваного розрідженого відновлення. Спираючись на потужні інструменти обробки сигналів, SPEX використовує ретельно обрані абляції для комбінування багатьох кандидатних взаємодій, а потім використовує ефективні алгоритми декодування для розплутування цих комбінованих сигналів та ізоляції конкретних взаємодій, відповідальних за поведінку моделі.

ProxySPEX: додатковий прогрес

З ProxySPEX ми виявили ще одну загальну структурну властивість у складних моделях машинного навчання: ієрархію. Це означає, що коли взаємодія вищого порядку є значущою, її підмножини нижчого порядку також, ймовірно, є значущими. Це спостереження суттєво знижує обчислювальні витрати, зберігаючи при цьому продуктивність, порівнянну з SPEX, з приблизно в 10 разів меншою кількістю абляцій.

Атрибуції характеристик: потужний інструмент

Техніки атрибуції характеристик присвоюють бали важливості елементам введення на основі їх впливу на вихід моделі. Наприклад, якщо LLM використовується для встановлення медичного діагнозу, цей підхід може вказати на конкретні симптоми, які призвели модель до її висновку. Хоча присвоєння важливості окремим характеристикам є цінним, справжня сила складних моделей полягає в їх здатності захоплювати складні відносини між характеристиками.

Висновок: до нових застосувань

SPEX та ProxySPEX відкривають шлях до нових застосувань в атрибуції характеристик, даних та компонентів моделі. Поліпшуючи наше розуміння ключових взаємодій, ці рамки обіцяють трансформувати спосіб, яким ми взаємодіємо з мовними моделями, роблячи їх рішення більш прозорими та надійними.

Щоб дізнатися більше про застосування цих нових технологій у вашому проекті або бізнесі, не соромтеся Зв'язатися зі мною.