Orion soft усилил управление GPU в платформе Nova AI

Ключевое обновление Nova AI — новый механизм управления GPU. Планировщик Volcano автоматически ставит AI/ML-задачи в очередь, учитывает их приоритетность и определяет доступность вычислительных ресурсов. Это позволяет продуктивным сервисам, обучению моделей и экспериментам работать в одном кластере без постоянного ручного перераспределения мощностей. 

Планировщик также учитывает вычислительную мощность и видеопамять GPU, распределяя задачи так, чтобы плотнее использовать доступные ресурсы. Так свободные мощности можно направлять на эксперименты и разработку, не резервируя их исключительно под возможные пики продуктивных сервисов. 

«Когда число AI-проектов растет, команды начинают конкурировать за GPU. В этой ситуации задача инфраструктурной платформы — не просто предоставить вычислительные мощности, а распределять их в соответствии с приоритетами бизнеса. В новой версии Nova AI мы автоматизировали этот процесс: критичные сервисы получают необходимые ресурсы, а свободные мощности можно использовать для разработки и тестов. Это повышает эффективность эксплуатации без постоянного расширения инфраструктуры», — отметил Никита Векессер, руководитель продуктов Nova AI и StarGuard AI в Orion soft.

В Nova AI также обновлены inference backend KServe для TensorFlow, PyTorch, Triton и vLLM и добавлена поддержка SGLang. Актуализация компонентов в составе платформы сокращает объем самостоятельной интеграции и упрощает подготовку моделей к промышленному запуску.