EmbeddingGemma 2: открытая мультимодальная модель эмбеддингов от Google DeepMind
EmbeddingGemma 2: новая открытая мультимодальная модель эмбеддингов от Google DeepMind
6 октября 2024 года компания Google DeepMind анонсировала выпуск EmbeddingGemma 2 – открытой нейросети, которая преобразует текст, код, изображения, видео и аудио в единое векторное пространство. Модель распространяется под лицензией Apache 2.0, её можно скачать и запустить локально, не прибегая к облачным сервисам.
Как работает модель и какие задачи решает
EmbeddingGemma 2 относится к классам эмбеддинг‑моделей: она не генерирует текст и не отвечает на вопросы, а лишь превращает входные данные в числовой вектор. По схожести векторов система определяет семантическую близость фрагментов, что лежит в основе умного поиска, рекомендаций и технологий RAG, когда чат‑бот подгружает нужные документы перед формулировкой ответа.
Главное отличие второй версии – поддержка нескольких модальностей в одном пространстве. Запрос можно подать текстом, голосом, изображением или фрагментом видео, а искать в любом другом формате. Например, найти момент в видеозаписи по голосовой заметке без предварительной транскрипции, или подобрать фотографии по описанию, или выполнить семантический поиск в локальном репозитории кода.
Архитектура и ресурсные требования
EmbeddingGemma 2 построена на базе Gemma 4 и состоит из съёмных модулей:
- ядро для текста и кода – примерно 270 млн параметров;
- энкодер изображений и видео – около 170 млн;
- энкодер аудио – около 300 млн.
Если приложению нужен только текстовый поиск, лишние блоки не загружаются, что экономит память. После квантизации до 4‑ или 8‑бит текстовая версия занимает около 191 МБ ОЗУ на смартфоне Pixel 11 Pro, а полная мультимодальная – около 567 МБ.
Контекстное окно увеличилось в четыре раза и теперь составляет 8192 токена, что соответствует примерно 5,5 минуты аудио, 29 изображениям или 58 кадрам видео. На выходе модель выдаёт вектор из 768 чисел; с помощью технологии Matryoshka Representation Learning его можно сократить до 512, 256 или 128 измерений, уменьшая размер векторной базы в шесть раз.
Результаты тестирования и ограничения
В бенчмарке MTEB Code EmbeddingGemma 2 набрала 78,68 балла против 68,76 у первой версии – рост на около десяти пунктов. На мультиязычном тексте (MTEB Multilingual) улучшение минимально: 61,36 против 61,15. По отдельным модальностям показатели такие:
- поиск изображений (MMEB v2) – 57,28;
- поиск по сканированным документам с графиками – 67,84;
- поиск видео – 50,67;
- поиск аудио (MSEB) – 69,54.
При обрезке вектора до 256 чисел потеря качества почти незаметна (балл падает с 59,01 до 56,24), а при сокращении до 128 измерений точность снижается до 45,65 – примерно четверть от исходной. Наиболее слабым направлением остаётся работа с видео.
Кроме того, модель корректно работает только в форматах bfloat16 и float32; в float16 она возвращает нулевые векторы, что важно учитывать при развёртывании на определённом оборудовании.
Где получить EmbeddingGemma 2 и как её использовать
Веса модели уже размещены на платформах Hugging Face и Kaggle, там же доступны оптимизированные версии для мобильного движка LiteRT. Модель поддерживается такими инструментами, как Ollama, LM Studio, llama.cpp, vLLM, MLX и библиотекой Sentence Transformers. Через transformers.js её можно запустить прямо в браузере.
Для владельцев сайтов EmbeddingGemma 2 предлагает недорогой способ организовать смысловой поиск на собственном сервере: можно индексировать каталог интернет‑магазина по текстовым описаниям и фотографиям товаров, либо архив статей, делая поиск по смыслу без точного совпадения ключевых слов. Рекомендуется начинать с текстового модуля и вектора в 256 измерений, подключая энкодеры изображений и звука только при реальной необходимости.
Вывод
EmbeddingGemma 2 представляет собой открытую, локально запускаемую альтернативу платному облачному Gemini Embedding 2. Модель сочетает компактный размер, поддержку нескольких модальностей и гибкую архитектуру, что делает её привлекательной для разработчиков, которым нужен приватный семантический поиск без передачи данных на внешние серверы. Показатели качества уже конкурентоспособны, а дальнейшая интеграция в ML Kit для Android может превратить её в стандартный инструмент мобильных приложений.