Статья о Alice AI Foundation и адаптации языковых моделей под русский
Обработка русского текста оказывается дороже для больших языковых моделей из‑за особенностей токенизатора и небольшого доли русскоязычных данных в обучающих корпусах. Это заставляет крупные российские компании искать способы сделать свои ИИ более эффективными и точными на родном языке.
Почему русские тексты обходятся нейросетям дороже
Токен – минимальная единица, с которой работает модель. Если словарь токенов собран преимущественно на английских текстах, русские слова часто попадают в него редко и модель разбивает их на множество мелких кусков. Например, классическую панграмму «Съешь же ещё этих мягких французских булок, да выпей чаю» GPT‑3 превращает в 74 токена, GPT‑4 – в 36, GPT‑4o – в 19, тогда как английская фраза про лису и ленивую собаку у всех трёх моделей занимает всего 10 токенов. Даже аббревиатуру «СНИЛС» GPT‑4 воспринимает как пять отдельных букв. Исследования Оксфорда 2023 года показали, что для русского языка количество токенов превышает английское в 5,7 раза у GPT‑2/3, в 2,5 раза у GPT‑3.5/4 и в 1,6 раза у первых версий Llama. Хотя по числу символов русский текст длиннее английского лишь на 9 %, основная разница создаётся именно словарём. Позднее OpenAI в 2024 году изменила токенизатор GPT‑4o, но даже после этого русская фраза из её примера всё ещё занимает 1,7 раза больше токенов, чем английская. В примере Яндекса из Claude Opus 5 тестовая строка на русском требует 17 токенов против 13 на английском. Из‑за лишних токенов ответ генерируется медленнее, запрос через API становится дороже (оплата идёт за токены), а в контекстное окно помещается меньше диалога, поэтому модель раньше теряет нить разговора.
Как компании адаптируют модели под русский
Чтобы компенсировать высокую стоимость обработки русского, компании следуют двум основным путям: создают собственный словарь и учат модель с нуля на преимущественно русскоязычном корпусе, либо берут готовую открытую модель и дорабатывают её токенизатор под кириллицу. Оба подхода начинаются с улучшения словаря, без которого модель продолжит переплачивать за каждый токен.
Собственный словарь и обучение с нуля
Сбер пошёл первым этим путём. В 2020 году компания выпустила ruGPT‑3 на 760 млн параметров, обученную на 600 ГБ русских текстов на суперкомпьютере «Кристофари». Следующий шаг – ruGPT‑3.5 на 13 млрд параметров, которая легла в основу первого GigaChat. В научной работе о GigaChat 2025 года Сбер измерил эффективность собственного словаря через метрику «символов русского текста на один токен». У GigaChat она равна 4,18, у Mistral‑Nemo – 3,18, у Llama 3 – 3,02, у Qwen2 – 2,70, а у GPT‑4 – лишь 2,04. То есть один и тот же русский текст GigaChat укладывает примерно вдвое меньшим числом токенов, чем GPT‑4. К ноябрю 2025 года Сбер открыл веса GigaChat 3 Ultra Preview на 702 млрд параметров, обученные на 14 трлн токенов (из которых около 5,5 трлн синтетические). В июле вышла более компактная GigaChat 3.5 Ultra на 432 млрд параметров, тоже с открытыми весами.
Доработка открытых моделей
Обучение с нуля требует значительных ресурсов, поэтому многие компании предпочитают взять сильную открытую модель и адаптировать её под русский. Чаще всего в качестве основы выбирают китайскую линейку Qwen. Т‑Банк в версии T‑Pro 2.0 заменил 34 тыс. редких некириллических токенов Qwen3 на кириллические, сохранив общий размер словаря. Благодаря этому доля слов русской Википедии, укладывающихся в один‑два токена, выросла с 38 % до 60 %. Авито пошёл иначе: в модели A‑Vibe он объединил собственный словарь из 60 тыс. русских токенов с 80 тыс. английских токенов, оставшихся от Qwen3. На задачах, связанных с русским языком, модель стала работать быстрее на 15‑25 %. Аналогичный путь ранее продемонстрировали в МГУ: проект Ruadapt Михаила Тихомирова и Даниила Чернышёва меняет токенизатор, дообучает модель на русском корпусе и переносит новые представления слов в готовую чат‑версию. Оценка авторов – полная адаптация Qwen3‑8B укладывается в menos 2000 часов работы видеокарт, а генерация на русском ускоряется до 80 %.
Яндекс и Alice AI Foundation
Яндекс выбрал путь создания собственной фундаментальной модели. Ранее компания использовала веса открытых Qwen (YandexGPT 5 Pro стартовала с Qwen‑2.5‑32B, а Alice AI LLM прошлой осени – с Qwen‑235B), но вопрос «суверенности» моделей заставил перейти к полному обучению с нуля. Alice AI Foundation обучалась на примерно 18 трлн токенов, использует собственный словарь из 129 тыс. токенов, оптимизированный под русский язык, и построена по архитектуре Mixture of Experts (MoE). Из 80 млрд параметров модели на каждый токен активны примерно 3 млрд, а размер контекстного окна достигает 262 тыс. токенов. Веса модели опубликованы на Hugging Face под лицензией Apache 2.0, разрешающей коммерческое использование, и отмечены иностранным изданием Turing Post как один из ключевых запусков недели. Чтобы модель не только знала факты, но и чувствовала язык, в pretrain‑этапе Яндекс применил идею разнообразных пересказов: например, фраза «Пётр I основал Санкт‑Петербург в 1703 год» была представлена в нескольких форматах – рассказ экскурсовода на речном трамвайчике, стилизация под летопись, вопрос‑ответ, шифр с условным «серым городом» и варианты с ловушками, где рядом стоят годы 1698, 1700 и 1712. В первоначальных экспериментах связка таких пересказов с обычным повторением повысила точность ответов на фактологический тест на 6,9 %. Затем эффект был масштабирован на весь полезный фактологический веб; к моменту релиза Яндекс обработал около 30 % таких текстов, а проверку сгенерированных вопросов выполняла отдельная модель с доступом к поиску. Для оценки культурного кода использовался тест ВШЭ, МФТИ и РГГУ из 400 вопросов о русских типовых выражениях, мемах и пословицах. Лучший результат показала GPT‑4o (≈87 %), худший – Mistral NeMo (≈52 %). Alice AI Foundation продемонстрировала конкурентоспособные показатели в собственных тестах WikiWebFacts и HardMultiQA: факты из русскоязычных энциклопедий – 86,5 против 83,2 у базовой DeepSeek‑V4‑Flash‑Base, русская культура – 86,5 против 80,7, право – 49,6 против 40,5, история – 82,0 против 76,9. При этом в англоязычных тестах модель отстаёт: школьный английский тест – 76,1 против 82,9 у DeepSeek, англоязычная викторина TriviaQA – 79,0 против 89,4. Это подтверждает, что Alice сильна именно там, куда её нацелили, но требует дополнительного обучения диалоговым навыкам – базовый выпуск не содержит чат‑тонкой настройки, и дообучить её необходимо самостоятельно. Сотрудник Яндекса на Хабре предложил сообществу взять эту работу на себя.
Итогом является то, что повышение эффективности работы с русским языком достигается двумя взаимодополняющими мерами: качественным словарём, сокращающим количество токенов, и богатыми, многократно пересказанными данными на живом русском, дополненными собственными тестами для проверки фактической и культурной точности. Только их совместное применение позволяет моделям не только быстро и дёшево обращаться к русскому тексту, но и действительно понимать его нюансы.
