ИИ как угроза корпоративной безопасности

Результаты опроса на тему рисков ИБ для бизнеса

Председатель правления Ассоциации разработчиков программных продуктов «Отечественный софт», президент ГК InfoWatch Наталья Касперская представила результаты опроса на тему рисков информационной безопасности для бизнеса, связанных с использованием генеративного ИИ. Основными векторами угроз были названы передача сотрудниками конфиденциальных данных в публичные ИИ-сервисы и последующее раскрытие этой информации третьи лицам, неконтролируемая передача данных встроенными ИИ-агентами. Представляет опасность генерация недостоверной информации и ее последующее использование без верификации, а также инъекция вредоносных данных в базу обучения ИИ-модели и их влияние на последующие результаты работы. Нельзя сбрасывать со счетов фишинг с подменой интерфейсов общедоступных ИИ-сервисов и нарушение прав доступа к разным категориям корпоративных данных. Случаи утечек, произошедших по причине использования искусственного интеллекта, зафиксировали 46% участников опроса. Несмотря на опасные факторы, большинство респондентов (59%) видят пользу в применении ИИ-инструментов при наличии грамотного подхода к регулированию данной технологии. Для оценки были предложены три метода регулирования, на уровне государства, на уровне бизнеса и просветительская работа. Участники опроса отметили, что в их организациях использование ИИ разрешено, но с определенными ограничениями. Для минимизации рисков компании проводят обучение сотрудников безопасной работе с нейросетями, усиливают технический контроль и разрабатывают внутренние политики, регламентирующие работу с ИИ и созданным с его помощью контентом.

Председатель правления Ассоциации разработчиков программных продуктов
«Отечественный софт», президент ГК InfoWatch Наталья Касперская
Источник: скрин трансляции круглого стола

Безопасность работы ИИ-агентов в корпоративном контуре

Руководитель направления облачных и дата-сервисов VK Tech Дмитрий Лазаренко отметил, что за достаточно короткий промежуток времени, чуть более четырех лет, после начала применения ИИ-технологий значительно снизилась себестоимость их использования, что позволило расширить применение ИИ-агентов в бизнесе. 88% компаний по всему миру используют генеративный ИИ, поэтому одним из основных вопросов является безопасность работы ИИ-агентов в корпоративном контуре. Это будет главным вызовом в ближайшее время.

Руководитель направления облачных и дата-сервисов VK Tech Дмитрий Лазаренко
Источник: скрин трансляции круглого стола

«Компании внедряют новые технологии, но часто упускают из виду защиту и управление машинной идентичностью. А ведь привилегий у цифровых агентов зачастую больше, чем у живых сотрудников. Безопасность трансформируется: теперь это не только защита периметра, но и строгое управление доступами самих ИИ-агентов. Мы убеждены, что у каждого «цифрового работника» должен быть персональный владелец-человек, отвечающий за его решения, и обязательный «рубильник» для мгновенной остановки в случае нештатной ситуации», — подчеркнул Дмитрий Лазаренко.

Различные риски, связанные с передачей данных ИИ

О существовании значительных рисков при передаче данных искусственному интеллекту, которая не всегда контролируется, предупредил директор по информационной безопасности MWS Cloud Виктор Бобыльков. Он назвал это одной из трех основных угроз, наряду с безопасностью LLM и AI-инфраструктуры. Необходимо разумно ограничивать права доступа для ИИ-агентов. Иногда сотрудники используют ИИ не задумываясь о последствиях. Например, сотрудник загружает в нейросеть файл с клиентской базой компании для анализа и данные клиентов покидают периметр компании. Конфиденциальные бизнес-данные могут быть переданы в нейросеть и попасть в чужие руки.

Директор по информационной безопасности MWS Cloud Виктор Бобыльков
Источник: скрин трансляции круглого стола

«Большинство компаний не умеют работать с правильным потоком данных, которые необходимо передавать в искусственный интеллект или в ИИ-Агентам», — отметил Виктор Бобыльков.

Необходимо наладить разграничения в доступе сотрудников различных подразделений компании к конкретным массивам данных.

Угрозы, связанные с применением сотрудниками общедоступных ИИ-серверов

Ведущий эксперт по развитию продуктов для защиты данных ГК InfoWatch Сергей Сидоренко обратил внимание на риски, связанные с неконтролируемым применением сотрудниками общедоступных ИИ-серверов. По его словам, именно такой подход часто приводит к утечке конфиденциальных данных клиентов за периметр компании.

Ведущий эксперт по развитию продуктов для защиты данных ГК InfoWatch Сергей Сидоренко
Источник: скрин трансляции круглого стола

Для минимизации подобных угроз необходимо использовать специализированные средства защиты, в частности DLP-системы, которые способны блокировать передачу информации в сторонние ИИ-инструменты. Эксперт перечислил ситуации, которые такие системы классифицируют как компрометацию данных. Это использование публичных сервисов для рабочих задач, утечка сведений при автоматизированном создании кратких изложений документов (суммаризации), атаки через промпты (инъекции), позволяющие извлекать скрытую информацию, раскрытие исходных данных, хранящихся в векторных базах, и компрометация информации при взаимодействии со встроенными ИИ-агентами. Особую опасность представляет тот факт, что искусственный интеллект уже интегрирован примерно в половину всех корпоративных приложений, причем сотрудники даже не подозревают об этом.

Для обеспечения комплексной безопасности ГК InfoWatch реализует трёхуровневую модель защиты. На первом этапе осуществляется перехват и предотвращение нежелательных действий. Второй уровень подразумевает мониторинг и анализ поведенческих аномалий конкретного пользователя. На заключительном, третьем уровне проводится углублённая аналитика и расследование произошедших инцидентов.

Помимо технических инструментов, для эффективного противодействия рискам требуется развитие культуры кибербезопасности внутри организации. Это включает в себя создание и регулирование политик доступа к данным, чёткое разграничение прав между сотрудниками и ИИ-агентами, строгий контроль доступа, принцип нулевого доверия, а также обязательную анонимизацию персональных данных.

Государственное регулирование использования ИИ

Юрист по информационной безопасности ГК InfoWatch Илья Башкиров поднял актуальную тему государственного регулирования в свете рисков, связанных с использованием технологий искусственного интеллекта. Он сослался на модель угроз для больших языковых моделей и генеративного ИИ, разработанную Open Web Application Security Project (OWASP), которая выделяет десять основных рисков и уязвимостей. Эксперт подчеркнул, что практически все эти риски уже отражены в российском законодательстве.

Юрист по информационной безопасности ГК InfoWatch Илья Башкиров
Источник: скрин трансляции круглого стола

«Уже вступивший в силу Приказ ФСТЭК № 117 устанавливает лаконичные, но емкие требования к использованию ИИ. Их суть — в обеспечении подконтрольности и прозрачности работы ИИ для его оператора, а их содержание соответствует актуальной структуре угроз», — отметил выступающий.

Тем не менее, по мнению Ильи Башкирова, одного лишь статичного регулирования недостаточно. Ключевым моментом является то, как бизнес будет реализовывать эти требования на практике, чтобы не просто формально соблюдать закон, но и реально защищать права и законные интересы контрагентов, потребителей и субъектов персональных данных. В этом контексте подход, который утвердился в судебной практике, заключается в том, что суды рассматривают ИИ как инструмент, анализируя реальные процессы и нарушения, а не как самостоятельный субъект.

Важно отметить, что государственный сектор играет определяющую роль в формировании требований к безопасности ИИ.

Результаты внедрения ИИ в государственные информационные системы

Секретарь Консорциума исследования безопасности технологий ИИ Дмитрий Служеникин поделился первыми результатами пилотного проекта, в котором эксперты анализируют внедрение ИИ в государственных информационных системах и на объектах критической инфраструктуры в регионах. Он отметил, что при внедрении ИИ на уровне региональных госорганов возникают несколько характерных проблем. В частности, владельцы информационных систем часто не имеют полной информации о внедренных ИИ-решениях, а также допускают фактические ошибки в их описании. Кроме того, наблюдается значительное несоответствие между заявленной и реальной архитектурой систем.

Сфера ответственности консорциума охватывает исключительно государственные информационные системы и объекты критической информационной инфраструктуры. В настоящее время Консорциум разрабатывает перечень мер для поддержки регионов в процессе внедрения технологий искусственного интеллекта. Эти меры включают стандартизацию и автоматизацию оценки технологий и сервисов, запуск программ повышения квалификации для сотрудников, создание библиотек лучших практик для специалистов, а также проведение независимого аудита и предоставление поддержки со стороны экспертов отрасли.

Участники круглого стола обсудили, какие шаги необходимо предпринимать компаниям, чтобы защититься от утечек данных через генеративные ИИ-модели и как выбрать надежный ИИ-сервис и ответственного партнера для минимизации возможных рисков.

«Очень много говорят о внедрении искусственного интеллекта, а о том, что технологии генеративного ИИ создают большое количество рисков, мало кто говорит и мало кто осознает реальные масштабы. Мы должны серьезно и как страна, и как сообщество, и как отрасль задуматься над тем, как мы будем защищаться от этих рисков с тем, чтобы не допустить необратимых последствий», — резюмировала Наталья Касперская, подводя итоги дискуссии.