Архитектура Titans и обучение на инференсе: как нейросети с живыми весами преодолевают амнезию трансформеров

TopG 26 октября 2026 6 минут

Модель в 760 миллионов параметров обогнала семидесятимиллиардную сборку с подключённой векторной базой на тесте BABILong с контекстом в два миллиона токенов. Результат, выглядящий как ошибка в таблице метрик, получил подтверждение при независимом воспроизведении. Авторы работы — Али Бехруз и Вахаб Миррокни из Google Research — отказались от догмы, согласно которой веса нейросети замораживаются навсегда после завершения предобучения.

Проблема статических весов: почему обычные трансформеры забывают контекст между сессиями

Любой стандартный трансформер страдает полной амнезией между сессиями. Вы можете часами объяснять ему внутренние соглашения по именованию таблиц, но стоит закрыть вкладку или выйти за границу окна контекста — модель снова становится «чистой». Она не усваивает информацию из диалога, а лишь удерживает её во временном буфере KV-кэша, пока хватает оперативной памяти. Веса остаются неизменными, а значит, накопленный опыт не переносится ни в следующие запросы, ни в новые сессии.

Это фундаментальное ограничение заставляет разработчиков прибегать к внешним векторным базам, RAG-пайплайнам и усечению истории. Все эти обходные пути добавляют латентность, сложность инфраструктуры и потерю точности на длинных зависимостях.

Архитектура Titans: нейронная долговременная память как обучаемый MLP-модуль внутри модели

Концепция обучения во время тестирования (test-time training) и выросшая из неё архитектура Titans меняют механику чтения промпта. Внутрь модели встраивается отдельный многослойный перцептрон глубиной 2–4 слоя, который выполняет роль долгосрочной нейронной памяти. Когда поступает запрос, этот модуль прямо на ходу вычисляет градиент функции потерь и обновляет собственные веса методом градиентного спуска. Модель буквально дообучает сама себя в процессе чтения документа, не требуя внешних этапов файн-тюнинга.

Постоянные знания, полученные на этапе базового предобучения, остаются в отдельном наборе замороженных параметров. Обучаемый MLP-модуль памяти работает в паре с механизмом внимания: обычное внимание в коротком скользящем окне отвечает за точную грамматику и разбор текущего абзаца, а нейронная память хранит выжимку из прочитанных ранее сотен страниц.

Механика записи: метрика удивления, импульс обновления и адаптивное забывание

Записывать в веса каждое прочитанное слово бессмысленно — матрица памяти забилась бы вводными конструкциями уже на третьей странице. Авторы Titans привязали шаг изменения весов к величине градиента функции потерь, которую можно назвать метрикой удивления. Внутренний слой пытается предсказать связь между текущими токенами. Если текст следует предсказуемому шаблону, ошибка близка к нулю, градиент минимален, и веса не меняются.

Как только в середине отчёта появляется нестандартный номер порта, новый ключ шифрования или редкая фамилия, ошибка предсказания резко возрастает. Сеть фиксирует высокий градиент удивления и делает глубокий шаг обновления весов, намертво впечатывая аномальный факт в свою матрицу. На тесте S-NIAH по поиску одиночных фактов в длинном шуме такая схема выдаёт 98,8% точности, тогда как модель Mamba-2 с фиксированным вектором состояния падает до 31%.

Инерция записи и принудительное забывание

Одного скачка ошибки оказалось мало: полезные детали часто идут в следующих двух-трёх предложениях сразу после неожиданного заголовка, когда модель уже перестала удивляться. Чтобы не терять этот хвост, в формулу обновления добавили классический импульс (momentum). Градиент продолжает по инерции записывать соседние абзацы ещё несколько шагов после обнаружения важного события.

А чтобы матрица не переполнялась на миллионах слов, параллельно работает адаптивный коэффициент затухания весов, который стирает устаревшие связи при нехватке ёмкости. Это реализует принцип «забывания ради запоминания» без ручного управления.

Три схемы интеграции памяти и внимания: MAC, MAG и MAL

Авторы проверили три способа соединить обучаемый модуль памяти с механизмом внимания внутри одного корпуса.

MAC — память как контекст (Memory as Context)

Длинная история нарезается на сегменты. Модуль долговременной памяти извлекает из своих весов нужные векторы по запросу и подкладывает их прямо перед текущим окном внимания. Это позволяет вниманию «видеть» сжатое представление всей предыстории без роста квадратичной сложности.

MAG — память с вентильным управлением (Memory as Gate)

Скользящее внимание и нейронная память работают в двух параллельных ветках. Их выходы перемножаются через нелинейный фильтр, который решает, сколько информации взять из кратковременного контекста и сколько — из долговременной матрицы.

MAL — память как слой (Memory as Layer)

Слои памяти и внимания просто ставятся друг над другом в единую стопку. Это наиболее простая топология, где выход памяти становится входом для следующего блока внимания, и так далее по глубине сети.

Каждая схема имеет свои компромиссы по точности, латентности и простоте реализации, но все три демонстрируют способность удерживать связный контекст порядка миллионов токенов в фиксированном объёме памяти.

Вызов железа: почему пошаговый градиентный спуск на инференсе убивает утилизацию GPU

При всей красоте идеи первые попытки запустить обучение на этапе инференса в реальных сервисах уперлись в жестокую проблему с железом. Если заставить видеокарту считать обратное распространение ошибки и перезаписывать веса памяти после каждого отдельного токена, тензорные ядра простаивают. Замеры загрузки вычислительных блоков при работе базового алгоритма TTT-MLP с обновлением на каждом токене показали реальную утилизацию чипа всего 4,5%. Остальное время уходило на чтение и запись крошечных матриц между кэшем кристалла и основной памятью. При такой скорости обработки ни о каком промышленном применении речи не шло.

Решение LaCT: крупноблочное обновление весов, рост утилизации в 10 раз и 40% обучаемых параметров

Проблему удалось решить с выходом архитектуры крупноблочного обучения во время тестирования (LaCT — Large Chunk Test-Time Training) от исследователей из MIT и Adobe. Вместо того чтобы дергать веса на каждом слове, они начали копить пакеты от 2 тысяч до 64 тысяч токенов и обновлять матрицу быстрой памяти одним крупным матричным умножением на весь блок.

Загрузка видеокарты сразу выросла в десять раз, а размер обучаемого состояния удалось поднять до 40% от общего числа параметров модели без потери скорости вывода. Внутри самого блока пакетные обновления спокойно распараллеливаются по разным ядрам под стандартные алгоритмы FlashAttention. Это сделало обучение на инференсе совместимым с производственными конвейерами.

Новые уязвимости: атаки через градиент удивления и необходимость снимков весов для отката

У моделей с изменяемыми на лету весами появилась уязвимость, которой никогда не было у замороженных трансформеров. Если в середине длинного пользовательского документа попадётся специально сформированный кусок текста с резкими статистическими аномалиями, он вызовет искусственный всплеск градиента удивления и перезапишет полезную память мусором. Очистить такое состояние простым удалением последних сообщений из чата уже не выйдет — веса изменились необратимо.

Приходится хранить контрольные снимки весов памяти через каждые несколько десятков тысяч токенов и откатывать матрицу назад при сбоях. Это добавляет накладные расходы на хранение чекпоинтов, но без них система небезопасна для автономных агентов, потребляющих недоверенный ввод.

Перспективы: разделение на быстрые и медленные веса как стандарт для агентов с миллионными контекстами

Разделение нейросетевых весов на быстрые обучаемые модули (долговременная память) и медленные базовые блоки (замороженные знания предобучения) закрывает главный разрыв между статическими моделями и системами непрерывного обучения. Нейросети с архитектурой Titans и пакетным обновлением LaCT позволяют удерживать связный контекст свыше двух миллионов токенов в крошечном фиксированном объёме памяти, где обычные трансформеры требуют сотен гигабайт под KV-кэш, а линейные сети теряют точность.

Как только поддержка снимков быстрых весов войдёт в базовые релизы серверных движков, дообучение прямо во время чтения запроса станет стандартным способом работы с персональными базами данных и долгоживущими автономными агентами. Это сдвигает парадигму: модель перестаёт быть неизменным артефактом обучения и становится адаптивным субъектом, накапливающим опыт в процессе эксплуатации.

Вопросы и ответы

В чём главное отличие архитектуры Titans от обычных трансформеров?

В Titans встроен обучаемый MLP-модуль (2–4 слоя), который обновляет свои веса методом градиентного спуска прямо во время инференса, выполняя роль долгосрочной нейронной памяти, тогда как веса стандартного трансформера заморажены после предобучения.

Как метод LaCT решает проблему низкой утилизации GPU при обучении на инференсе?

LaCT накапливает токены в крупные блоки (2–64 тысячи токенов) и обновляет веса памяти одним матричным умножением на весь пакет, что повышает загрузку тензорных ядер с 4,5% до ~45% и позволяет масштабировать обучаемое состояние до 40% параметров модели.

Какие риски безопасности несут модели с изменяемыми на лету весами?

Специально сконструированный ввод с резкими статистическими аномалиями может вызвать искусственный всплеск градиента удивления и перезаписать полезную память мусором. Так как веса меняются необратимо, простого удаления сообщений из чата недостаточно — требуются контрольные снимки весов для отката.

Поиск