🧑💻 Делимся инструкцией, как легко запустить нейросеть с новым сервисом от Cloud.ru
Чтобы развернуть ML-модель, приходится выбирать из нескольких вариантов. Так, для работы on-premise нужны недели на внедрение, серьезные инвестиции на покупку оборудования и ресурсы на обслуживание. С провайдерами LLM не получится полный кастом, к тому же будет доступен только ограниченный контроль над моделью.
Но есть более простой путь: облачные решения помогут запустить инференс за несколько минут и настроить его под себя. На примере сервиса Evolution ML Inference от облачного провайдера Cloud.ru поделимся пошаговой инструкцией, как это сделать.
Шаг 1. Выберите режим работы
Evolution ML Inference позволяет запускать инференс различных AI-моделей, в том числе трансформеров, диффузионных и LLM типа Qwen, Stable Diffusion и DeepSeek. Кроме того, пользователь может запустить и свою собственную нейронку, упакованную в Docker-образ.
В сервисе предусмотрены два режима работы:
Model RUN пригодится, чтобы быстро развернуть open source модель из библиотеки Hugging Face. В ней представлены ML-разработки ведущих IT-компаний, включая Google и Mistral.
Docker RUN нужен для запуска AI-модели на основе пользовательского Docker-образа. С ним можно гибко настраивать параметры, например точки входа или health-чеки. Это особенно полезно при работе с Triton-совместимыми контейнерами или нестандартными фреймворками.
Листайте галерею, чтобы узнать больше о преимуществах облачного решения Evolution ML Inference 👉
Шаг 2. Настройте параметры
Если вы хотите полный кастом, можете запустить модель с Docker-образом в контейнерной среде. При этом нужно будет указать название, URI Docker-образа, тип и параметры GPU, а также условия по масштабированию контейнеров. Чтобы отслеживать работу AI, сможете дополнительно настроить health-пробы и логировать действия экземпляров модели.
Сервис будет полезен даже без глубоких знаний в машинном обучении и навыков программирования. Если вы не планируете иметь дело с Docker-образами и писать код инференса, достаточно выбрать модель из библиотеки Hugging Face. Далее нужно отметить фреймворк, параметры потребления GPU и объем памяти. После этого AI-модель станет доступной по простому URL-адресу.
Шаг 3. Выберите тип GPU
Сервис поддерживает разные варианты графических процессоров NVIDIA: V100 NVLink, A100 PCIe, H100 NVLink и PCIe. При выборе модели из Hugging Face, Evolution ML Inference автоматически подскажет нужное количество видеопамяти для запуска.
На всех видеокартах действует технология Shared GPU, которая позволяет оптимизировать расходы при запуске небольших моделей. Удобно, что пользователь может работать с частью необходимой ему видеопамяти и платить не за весь GPU, а только за фактическое потребление.
Шаг 4. Используйте и масштабируйте модель без лишних затрат
При росте нагрузки на модель, Evolution ML Inference увеличивает мощности в соответствии с выбранными настройками масштабирования. Когда поступает новый запрос, модели 7B поднимаются из горячего кеша за 10-15 секунд.
✏️ Чтобы воспользоваться сервисом, нужно оставить заявку на сайте Cloud.ru. Провайдер оказывает круглосуточную поддержку клиентам: на связи не боты, а реальные люди, которые помогут решить проблему. Кроме того, компанию сопровождает персональный менеджер: он расскажет про инфраструктуру в облаке и работу Evolution ML Inference.
Листайте дальше, чтобы перейти на сайт Cloud.ru и отправить заявку на консультацию.