Недавно сообщалось, что Amazon провела внутреннюю «глубокую проверку» после того, как на ее розничном сайте произошла череда сбоев, очевидно вызванных инструментами кодирования с использованием искусственного интеллекта. Встреча последовала за несколькими очевидными неудачами и растущим признанием внутри компании того, что меры защиты генеративного искусственного интеллекта в производственных системах являются неадекватными.
Это ранний проблеск более широкой проблемы, которую многие организации предпочитают не признавать: по мере того, как ИИ внедряется в критически важные системы, он вводит новые режимы сбоев быстрее, чем они могут их понять или контролировать.
Для оборонных организаций, которые все чаще интегрируют ИИ в критически важные системы, последствия имеют гораздо более серьезные последствия.
Когда организации вообще задумываются об этих рисках, они часто обращаются к знакомому заверению: в цикле будет «человек». Идея состоит в том, что даже если система сложна или ненадежна, человек уловит ошибки до того, как они станут иметь значение.
СВЯЗАННЫЙ
Это заверение опасно вводит в заблуждение. «Человек в курсе», единственная функция которого — одобрять действия машины, — это не защита, а ошибка конструкции. Внимание ослабевает, потому что никто не может сосредоточиться на работе, которая в основном ничего не делает, и со временем навыки операторов атрофируются до такой степени, что они не могут полноценно контролировать систему. Остается лишь видимость надзора, а не реальность.
В военном контексте такого рода униженное человеческое участие не только неэффективно, но и опасно с оперативной точки зрения.
Эта закономерность не нова. Инженеры уже видели это раньше, наиболее известным из которых является Therac-25, аппарат для лучевой терапии, представленный в 1982 году. Он объединил функции двух предшествующих систем в меньшем и более удобном корпусе, а улучшенная автоматизация сделала его быстрее и проще в эксплуатации. Безопасность «гарантировалась» присутствием человека-оператора, который должен был подтверждать действия – по сути, «человека в курсе».
Система все равно дала сбой. У пациентов начались тяжелые лучевые ожоги. Больницы отвергли возможность неисправности оборудования, а производитель настаивал на том, что передозировка невозможна. Только после тщательного расследования было обнаружено, что машина содержала множество критических для безопасности ошибок программного обеспечения. К тому времени произошло шесть случаев передозировки, три из них со смертельным исходом.
Более глубокая проблема заключалась не только в ошибочном коде, но и в неправильном дизайне. Машина часто останавливалась с плохо объясненными сообщениями об ошибках, из-за чего операторам приходилось «нажимать P, чтобы продолжить», чтобы продолжить лечение. Поскольку эти ошибки были распространены и редко имели какое-либо значение, операторы привыкли перезапускать систему десятки или сотни раз в день. Когда происходили реальные неполадки, акт «подтверждения оператора» уже терял смысл. В одном случае оператор несколько раз перезапускал машину, неосознанно допустив повторную передозировку. Присутствие человека-оператора не предотвратило сбой; это нормализовало это.
Сегодня мы повторяем эту ошибку. Ученые-компьютерщики спешат внедрить плохо понятные системы искусственного интеллекта в критически важные для безопасности среды, и когда возникают опасения, от них часто отмахиваются одной и той же фразой: в процессе будет человек. Это предположение сейчас появляется в дискуссиях по системам обороны, от поддержки принятия решений до автономных операций.
Люди будут утверждать, что ИИ фундаментально отличается, и в каком-то смысле они правы. Мы никогда раньше не внедряли системы, поведение которых является явно вероятностным и недетерминированным в средах с высокими ставками. В контексте обороны, где неопределенность быстро нарастает, а ошибки могут распространяться по системам, это особенно тревожно. Но ИИ также не отличается в наиболее важных аспектах. Это по-прежнему программное обеспечение, встроенное в более крупные системы, состоящие из людей, процессов и машин. Он не может действовать в реальном мире без окружающей системы, и эти системы терпят неудачу уже хорошо понятными способами. Инженеры и операторы десятилетиями изучали, как сложные, тесно связанные системы ведут себя под давлением.
То, что мы наблюдаем сейчас, — это не новый класс неудач, а уже знакомый, ускоренный. Индустрия программного обеспечения в очередной раз демонстрирует неспособность учиться на собственной истории. Было бы прискорбно, если бы мы говорили только об алгоритмах рекомендаций Spotify. Это становится опасным, когда те же самые модели внедряются в системы, от которых зависят организации и страны.
Недавние утечки из Пентагона предполагают, что системы искусственного интеллекта, возможно, уже влияют на то, где приземляются бомбы. В таких условиях иллюзия человеческого надзора хуже, чем полное отсутствие надзора. Это создает уверенность без контроля.
Если мы проведем следующее десятилетие, скрывая небезопасные системы за фиговым листком «человека в курсе», последствия не будут теоретическими.
Майки Дикерсон был администратором-основателем Цифровой службы США и работает кризисным инженером в Layer Aleph. Он является соавтором будущей книги «Кризисная инженерия».
