Cloud.ru

Cloud.ru — российская облачная платформа, где можно подключить готовые ИИ-модели по API, развернуть собственную модель на GPU и разместить приложение рядом с базой данных и хранилищем. Для вызова готовой нейросети в Cloud.ru Evolution предназначен сервис Foundation Models. Для разработки и эксплуатации своих моделей используется набор сервисов Evolution AI Factory. В каталоге стоит искать Cloud.ru и по прежнему названию SberCloud: речь об одной линейке облачных услуг.

Как выбрать подходящий сервис Cloud.ru

Foundation Models подходит, когда приложение должно отправлять запросы к готовой модели. Например, интернет-магазин классифицирует обращения, редакция делает черновые выжимки, а служба поддержки отвечает по корпоративной базе знаний. Вы выбираете модель из каталога и сравниваете результаты на своих примерах. Провайдер обслуживает развёртывание модели, а команда интегрирует вызовы, проверяет качество и управляет расходами.

Вычисления с GPU и инструменты AI Factory пригодятся для собственного контейнера, нестандартной версии модели или обучения. Здесь важны объём видеопамяти, регион, поддерживаемый стек и способ обновления. В бюджет входят рабочие часы GPU, диски, хранение контрольных точек и другие задействованные сервисы. До постоянного развёртывания проведите пилот на той версии образа и наборе данных, которые будут в рабочем проекте.

Инфраструктура Evolution нужна, если вместе с ИИ приходится размещать веб-приложение, базу, очередь и файлы. В одном проекте можно связать эти части и управлять доступами. Для небольшой интеграции достаточно оставить приложение на прежнем хостинге и обращаться к Foundation Models по API. Сравните задержку, порядок доступа и стоимость обмена данными до принятия решения о переносе всего проекта.

Пример для веб-студии: помощник собирает краткое резюме заявки и предлагает категорию. Приложение и база заявок уже работают, поэтому первый пилот сводится к API и проверке качества. Если позже потребуется распознавать большой поток документов собственным контейнером, стоимость и управление GPU можно оценивать отдельно. Эти два этапа удобно вести с раздельными лимитами и измерениями.

Подключение Foundation Models по API

Cloud.ru публикует каталог моделей и описывает интерфейс, совместимый с OpenAI API. Для старта зарегистрируйтесь в Evolution, выберите проект, откройте Foundation Models и создайте ключ по официальной инструкции. Подставьте адрес сервиса из документации и идентификатор модели из кабинета. Храните ключ в секретах серверного приложения. Для сайта используйте собственный серверный обработчик, чтобы браузер посетителя не получал ключ облачного проекта.

Первый запрос должен быть коротким и с понятным результатом. Затем выполните типичный запрос с рабочей длиной текста и добавьте сложный случай с длинным контекстом. Проверьте, поддерживает ли выбранная модель формат JSON, потоковые ответы и вызовы инструментов, если проект на них опирается. Совместимость SDK помогает подключиться, а поведение параметров и доступные функции стоит проверять для каждого используемого идентификатора модели.

В рабочем приложении задайте тайм-аут запроса и предел выходных токенов. Обработайте ограничение частоты и временную недоступность, чтобы очередь не отправляла запросы бесконечно. Для задачи с заранее известным набором полей проверяйте структуру ответа на стороне приложения. Если результат влияет на запись в CRM, сначала испытайте этот сценарий на тестовом контуре и сохраните подтверждение пользователя перед выполнением действия.

Запишите в журнал идентификатор запроса, модель, время и результат проверки. Содержимое переписки и документов имеет смысл хранить только в рамках правил проекта. Для диагностики обычно достаточно знать, какой набор тестов не прошёл, где возникла задержка и сколько токенов потребовалось. Если модель меняется, контрольный набор покажет, какие сценарии требуют новой настройки.

Пример пилота для редакции или поддержки

1. Соберите 30 обезличенных обращений. Возьмите короткие и длинные тексты, несколько сообщений с ошибками и случаи, где требуется уточнение.
2. Опишите ожидаемый ответ. Например, краткое резюме, категория обращения из фиксированного списка и признак, что вопрос надо передать сотруднику.
3. Выполните один набор запросов на двух моделях из каталога. Зафиксируйте модель, параметры, число токенов и задержку.
4. Сравните ошибки по типу. Перепутанная тема и выдуманный номер заявки имеют разный вес. Отдельно отметьте, сохранил ли ответ важные имена, числа и сроки из исходного сообщения.
5. Посчитайте стоимость одного принятого ответа с учётом повторов. Проверьте, как выглядит результат для сотрудника, который читает его в интерфейсе, а не в ответе API.

Если модель работает хорошо только на коротком наборе, не спешите переносить всю очередь. Проверьте реальные длинные документы, повторяющиеся вопросы и пограничные задачи. Для генерации по базе знаний отдельно измерьте качество поиска: смена модели не исправит инструкцию, которую приложение вообще не нашло.

Тарифы, лимиты и оплата из России

Для языковых моделей Cloud.ru публикует стоимость входных и выходных токенов в расчёте на миллион. Тариф зависит от модели, а каталог и условия могут меняться. Открывайте действующие тарифы Foundation Models перед запуском и сверяйте название модели, единицу тарификации и дату вступления условий в силу. Для моделей другой модальности ориентируйтесь на единицу расчёта из актуального тарифа.

Пример сметы: 10 000 запросов по 1 800 входных и 350 выходных токенов дадут примерно 18 млн входных и 3,5 млн выходных токенов. Для сравнения моделей умножьте каждый объём на соответствующую ставку. Если 15% запросов приходится повторить с такой же длиной, объёмы вырастут примерно до 20,7 млн и 4,025 млн соответственно. Это расчётная модель, в которую нужно подставить реальные замеры. Для долгого диалога оцените прирост входа из-за повторной отправки истории.

Если приложение использует поиск по документам, в смету могут входить создание эмбеддингов, хранение индекса и повторная обработка изменившихся файлов. Отделите разовую индексацию от текущих запросов. Для своего GPU отдельно учитывайте время работы машины, сохранение данных и часы простоя, если ресурс остаётся выделенным. Сравнивайте полную стоимость сценария с вариантом на API готовой модели.

В документации Evolution описана регистрация физических и юридических лиц. Физлица могут пополнять баланс картой, для юрлиц предусмотрена оплата по счёту. Положительный баланс и условия выбранного сервиса проверяйте в кабинете. Официальные материалы и консоль доступны на русском языке. Редакция сверила условия по документации и публичному каталогу. Вход, оплату и рабочие запросы к API из российского аккаунта в рамках обзора не тестировали.

Как проверить собственное развёртывание в AI Factory

Для пилота зафиксируйте модель, версию драйвера, библиотеки, размер контекста, число одновременных запросов и формат исходных данных. Включите в набор несколько тяжёлых входов, которые похожи на реальную нагрузку. Измерьте пиковую видеопамять, время первого ответа, обработку очереди и восстановление после остановки. Эти цифры нужны, чтобы выбрать конфигурацию и оценить резерв мощности.

Разделите образ приложения, исходные данные и результаты. Образ должен воспроизводиться из конкретной версии проекта, а контрольные точки нужно сохранять в месте, которое останется доступным после выключения машины. Сделайте пробный перенос на другой инстанс. Время восстановления влияет на решение так же, как ставка аренды GPU.

Для круглосуточного приложения проверьте баланс ресурсов между тестовым и рабочим окружением. В тестовом используйте отдельные ключи и квоты. Перед включением рабочего трафика определите, кто видит журналы, кто может обновлять модель и как отключить новый маршрут. План возврата на предыдущую версию полезно проверить на малом объёме запросов до релиза.

Если сценарий предполагает чувствительные документы, уточните место хранения данных и правила работы с конкретной моделью. Cloud.ru различает модели, развёрнутые на его инфраструктуре, и внешние модели, доступные через сторонние API. Страна оператора облака и место обработки каждого запроса могут описываться разными условиями. Для выбора смотрите документацию модели и условия услуги, которые применяются к вашему проекту.

Как понять, что пора перейти с API на собственную модель

Сначала проверьте, можно ли устранить ограничения в текущем API: уменьшить контекст, подобрать другую модель, выделить очереди или изменить формат входных данных. Собственное развёртывание становится предметом сравнения, когда нужны конкретные веса, особая конфигурация или предсказуемые условия эксплуатации. При переходе появятся расходы на обновление, мониторинг, резервное копирование и реакцию на сбои. Включите в сравнение время команды.

Cloud.ru, GPUniq и Polza.ai: как сравнить

Если нужен только программный доступ к нескольким моделям, сравните Foundation Models и Polza.ai на одинаковых запросах. Проверьте наличие выбранных моделей, цену, ответы по-русски, длину контекста и обработку структурированных данных. Если важна аренда ускорителей, сравните с GPUniq по цене выполненной задачи, объёму видеопамяти, хранилищу и времени восстановления. Cloud.ru стоит отдельно оценить, когда проекту вместе с моделями нужны базы, сеть и облачные вычисления.

При сравнении облачных платформ учитывайте, какие ресурсы команда реально будет переносить. Для сайта с одной функцией достаточно сравнить API и время интеграции. Для проекта с собственными моделями и несколькими сервисами составьте схему окружения, посчитайте стоимость каждого ресурса и отметьте, где будут храниться исходники, промежуточные файлы и результаты. Так проще увидеть, какие компоненты можно оставить у текущего провайдера и какие действительно стоит перенести.

Частые вопросы

Нужна ли собственная видеокарта для Foundation Models? Нет. Готовые модели вызываются через API. GPU нужен для задач, где вы сами выбираете и запускаете вычислительное окружение.

Подключается ли Cloud.ru к приложению, которое уже использует SDK OpenAI? Для поддерживаемых маршрутов используйте совместимый интерфейс Foundation Models. Сверьте базовый адрес, способ авторизации, название модели и параметры, которые нужны вашему приложению.

Как узнать цену запроса? Посмотрите ставки для выбранной модели и фактическое потребление в тестовом вызове. Для текстовой модели отдельно посчитайте вход и выход. При обработке документов учтите расходы на поиск, индекс и повторные обращения.

Можно ли начинать с личного аккаунта? В документации Evolution предусмотрена регистрация физлиц. До пополнения проверьте доступность нужного продукта в своём проекте, баланс, текущий тариф и ограничения выбранной модели.