Orion soft и DEPO Computers подтвердили совместимость Nova AI с GPU-серверами для корпоративного ИИ

Испытания подтвердили возможность развертывания корпоративных AI/ML-сервисов на совместной программно-аппаратной конфигурации, включая одновременную работу нескольких языковых моделей и распределение GPU-ресурсов между ними. Для заказчиков это снижает риски несовместимости компонентов при построении ИИ-инфраструктуры и позволяет эффективнее использовать вычислительные мощности.

В ходе испытаний специалисты проверили развертывание Nova AI, настройку графических ускорителей, работу подсистемы хранения данных и запуск сервисов инференса. Все 25 контрольных испытаний завершились успешно. В частности, подтверждена корректная работа модели Qwen3-4B-Instruct-2507 на выделенной GPU и двух независимых сервисов на GPU, разделенной с помощью технологии NVIDIA Multi-Instance GPU (MIG).

Технология MIG позволяет разделять поддерживаемый графический ускоритель на изолированные вычислительные инстансы и выделять их отдельным приложениям. Такой подход дает возможность запускать несколько AI-сервисов на одном GPU, распределяя ресурсы в соответствии с требованиями задач. Для бизнеса это особенно актуально при эксплуатации дорогостоящего GPU-оборудования, когда важно обеспечить загрузку имеющихся мощностей без избыточного резервирования ресурсов под каждый сервис.

Испытания проводились на серверах DEPO Storm 3500A2B с ускорителем NVIDIA H100 и DEPO Storm 3500A2R с NVIDIA A100. В качестве программной основы использовались Nova Container Platform и система управления виртуализацией zVirt 5.0. Проверка охватывала работу GPU-драйверов, создание ML-кластера, настройку постоянного хранения данных на базе Longhorn и управление вычислительными ресурсами через Nova Console.

Отдельное внимание уделили эксплуатации языковых моделей. Специалисты проверили загрузку весов Qwen3-4B-Instruct-2507, запуск трех независимых сервисов инференса с использованием KServe, доступность OpenAI-совместимого API и параллельную обработку запросов. Тестирование подтвердило корректную маршрутизацию обращений к моделям и одновременную работу сервисов без взаимной блокировки.

Nova AI — платформа Orion soft на базе Kubernetes для построения и эксплуатации корпоративной инфраструктуры искусственного интеллекта. Она объединяет инструменты разработки, обучения и развертывания AI/ML-моделей, обеспечивает централизованное управление GPU-ресурсами и рабочими окружениями специалистов. 

«Стоимость GPU остается одним из ключевых факторов при построении корпоративной ИИ-инфраструктуры. Поэтому заказчикам важно не только подобрать производительное оборудование, но и обеспечить его эффективное использование. Совместимость Nova AI с серверами DEPO Computers подтверждает возможность запуска нескольких независимых AI-сервисов на проверенной конфигурации, в том числе с разделением GPU. Это позволяет компаниям гибче распределять вычислительные ресурсы и снижать технические риски при масштабировании ИИ», — отметила Ирина Кальчева, альянс-менеджер в Orion soft.