Ограничения ИИ мешают работе исследователей в области кибербезопасности
TechCrunch сообщает, что барьеры безопасности ИИ, предназначенные для предотвращения злоупотреблений, также мешают легитимным исследователям в области наступательной кибербезопасности, вынуждая их искать альтернативы, такие как открытые модели.
В течение нескольких месяцев гиганты ИИ, такие как Anthropic и OpenAI, внедряли строгие барьеры безопасности и специальные проверенные программы, чтобы ограничить использование своих моделей злоумышленниками. Однако эти меры теперь затрудняют работу легитимных защитников сетей и исследователей в области наступательной кибербезопасности.
В июне правительство США ввело экспортные ограничения на модели Anthropic Mythos и Fable, частично из-за отчета, утверждающего, что барьеры можно обойти. Хотя ограничения позже были сняты, инцидент высветил проблему: исследователи критикуют компании ИИ за произвольные решения о том, что безопасно.
Известный исследователь безопасности Марк Дауд (Mark Dowd) заявил, что ему некомфортно, когда крупные компании принимают произвольные решения. Дауд десятилетиями продавал «уязвимости нулевого дня» западным правительствам, а не сообщал о них разработчикам. Он признал свою предвзятость, но его мнение не единично.
Крис Энли (Chris Anley), главный научный сотрудник NCC Group, объяснил, что просьба к модели ИИ попытаться использовать ошибку — ключевой шаг для подтверждения реальной уязвимости. Если барьер заставляет модель отказаться, это вредит защитникам. Он сравнил ИИ с молотком: без него нельзя построить дом, но он также является оружием.
Паоло Саньо (Paolo Stagno), технический директор CrowdFense, раскритиковал компании ИИ, сказав, что они «относятся к клиентам как к детям, за которыми нужен присмотр». Он и его коллеги используют ИИ только для реверс-инжиниринга, избегая поиска уязвимостей, чтобы не раскрыть чувствительные данные.
Джузеппе Кали (Giuseppe Cali), исследователь уязвимостей нулевого дня, сказал, что барьеры ему не мешают, поскольку он не использует ИИ для наступательных целей, а только для реверс-инжиниринга и создания инструментов. Анонимный исследователь из производителя компонентов смартфонов отметил, что его работодатель не входит в проверенную программу Anthropic, поэтому инструменты почти бесполезны.
Крис Томпсон (Chris Thompson), генеральный директор RemoteThreat, указал, что барьеры непоследовательны и заставляют исследователей «вести переговоры с моделью» вместо работы над безопасностью. Это подталкивает их к китайским открытым моделям, таким как GLM. Томпсон призвал лаборатории ИИ расширить доступ и привлекать к ответственности нарушителей, предупредив, что иначе защитники проиграют гонку ИИ.
В целом статья показывает, что строгость барьеров безопасности приводит к нежелательным последствиям, вынуждая легитимных исследователей искать альтернативы и потенциально ослабляя кибербезопасность.
