«Диасофт» добавил «ИИ-Шлюз» в платформу для организации безопасной работы с большими языковыми моделями

При активном внедрении искусственного интеллекта компании сталкиваются с комплексом проблем в инфраструктуре и безопасности. Среди них: риски утечки данных, неконтролируемые затраты, разрозненность ИТ-ландшафта и сбои, а также зависимость от иностранного программного обеспечения.

MLOps-платформа помогает исключить все эти трудности благодаря следующим возможностям «ИИ-Шлюза»:

• Сквозная защита данных на уровне инференса (Zero-Trust AI): автоматический перехват запросов, маскирование конфиденциальных данных (PII) до их отправки к внешним LLM-провайдерам и демаскирование ответов при возврате клиенту.
• Интеллектуальная маршрутизация: умное распределение вызовов не только на основе стоимости или типа задачи, но и с учетом реальной доступности вычислительных ресурсов. Автоматический fallback на альтернативные модели при сбоях.
• Полный контроль затрат на ИИ за счет экспорта метрик (запрос-ответ, токены, latency) с возможностью настройки лимитов (TPM/RPM) и квот.
• Семантическое кэширование: распознавание смысловых дубликатов запросов для мгновенного возврата ранее сгенерированных ответов, снижения нагрузки на LLM и экономии бюджета.
• Безопасное управление доступом: интеграция с Digital Q.Security (аутентификация по SSO, управление ключами), а также контентная фильтрация через Guardrails AI.
• Унифицированный API: предоставление единого OpenAI-совместимого эндпоинта для работы с любыми локальными и внешними провайдерами (ГигаЧат, РФ-агрегатор Routerai.ru и др.).

«Главная ценность «ИИ-Шлюза» – превращение хаотичного и небезопасного использования нейросетей в управляемый корпоративный процесс. Мы из «коробки» решили главную боль – данные больше не уходят в большие языковые модели в облаке в открытом виде. Шлюз сам перехватывает запрос, маскирует чувствительную информацию, и только потом отправляет в LLM, а на обратном пути аккуратно демаскирует ответ», – рассказал Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт».

Кроме того, «ИИ-Шлюз» обеспечивает умную маршрутизацию, учитывающую не только стоимость вызова, но и реальную загрузку GPU/CPU. Если базовая модель выходит из строя, шлюз бесшовно переводит трафик на резервную. Встроенное семантическое кэширование и интеграция с Langfuse для FinOps позволяют заказчикам в разы сократить расходы на токены и сделать использование искусственного интеллекта прозрачным.

Решение «Фабрика данных», в состав которого входит MLOps-платформа, предназначено для объединения разрозненных данных в единое хранилище, аналитики данных, автоматизации подготовки признаков ML-моделей, машинного обучения предиктивных моделей и визуализации данных. Оно включено в реестр российского программного обеспечения (запись №34110 04.07.2026).