Фото DR
Представители компаний, разрабатывающих робототехнику и технологии искусственного интеллекта (ИИ), из 26 стран подписали открытое письмо к ООН о необходимости запретить разработку и использование автономного оружия. 

Обращение было подписано перед Международной конференцией с участием ООН по вопросам использования искусственного интеллекта(IJCAI), которая прошла 21 августа в Мельбурне и одним из ключевых вопросов была судьба автономного вооружения. Среди подписантов письма был Илон Маск, известный своим осторожным отношением к ИИ, а также сооснователи российской компании Promobot Алексей Южаков и Олег Кривокурцев. Олег, как участник этих событий, объяснил, почему вопрос об этике и опасностях использования искусственного интеллекта сейчас критичен.

Восстание машин

Одушевить неодушевленное — давняя мечта человечества, которая зародилась еще в древнегреческих легендах об ожившем медном великане, прошла через чертежи механического рыцаря Леонардо да Винчи, «взорвала» ХХ век промышленной роботизацией и вылилась в автоматические устройства, наделенные искусственным интеллектом. Термин «робот» ввел в обиход чешский писатель Карел Чапек в 1921 году. Он уже тогда написал пьесу о фабрике по производству искусственных людей, в которой машины взбунтовались против своих хозяев — тема полюбилась фантастами, вспомните культовые «Терминатора» и «Матрицу».

» style=»display: none»>

Сегодня роботы уже стали обыденностью — они упрощают быт, автоматизируют бизнес-процессы, позволяют людям больше заниматься творчеством. Мы их контролируем, они нам помогают. Но многие ученые, инженеры и программисты все же считают, что развитие искусственного интеллекта может превратить машины в серьезную потенциальную угрозу для человека.

Читать также Маск против Цукерберга: искусственный интеллект — угроза или спасение?

Одна из основных технологий в области ИИ, которая сейчас активно развивается, — это нейронные сети. Машины на современном этапе развития без труда могут быстро, автономно и максимально эффективно получать информацию об окружающем мире — идентифицировать объекты, сопоставлять их с базами данных, принимать решения на основе анализа. Например, «умные» камеры на пограничных постах и в местах массового скопления людей оценивают концентрацию потока, реагируют на экстренные ситуации и при необходимости автоматически вызывают соответствующие службы. Нейросети распознают людей по изображению, помогая искать преступников.

Другая важная технология современности — машинное обучение, в котором используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов и другие методы обработки больших массивов данных. Программы в процессе повторения постепенно обучаются определенным действиям — так же, как и люди. Раз за разом выполняя похожие задания, машина прогрессирует. Возьмем автокорректор в телефоне, это простейшая нейросеть с машинным обучением: если вы несколько раз отказались изменить неизвестное системе слово, оно автоматически будет добавлено в словарь. Еще пример — алгоритм распознавания лиц у Facebook на основе фотографий из социальных сетей. Уже в 2015 году его точность достигала 83%.

Машины способны даже учиться принимать решения. Умные камеры могут автоматически повышать освещенность либо менять другие настройки в зависимости от ситуации, чтобы лучше распознавать лица.

Именно эти технологии и могут при определенных обстоятельствах стать опасными для человека. Математическая статистика и теория вероятностей — относительные и субъективные методологии.То есть результат обработки данных может оказаться неожиданным, а последствия ошибки уже будут зависеть от степени проникновения технологий в нашу жизнь. Илон Маск считает, что роботы могут «начать войну, публикуя фальшивые новости, подделывая учетные записи и просто манипулируя информацией».

Разумные роботы

Возможен ли распространенный фантастический сюжет о роботе, который осознает себя разумным существом и даже проявляет эмоции? Это вопрос открытый.

Существует две противоположных теории. Еще в 1980 году американский философ Джон Сёрл проводил эксперименты, чтобы доказать отсутствие самосознания у ИИ. По его мнению, машинам можно указать, как выполнять ту или иную операцию, но осознавать и понимать ее назначение они не будут. Сегодня многие ученые придерживаются именно этой позиции. С ними спорят сторонники когнитивистики, которые считают, что сознание человека не зависит от состояния мозга. То есть теоретически его можно реализовать на другом даже небиологическом носителе. Правда, «загадку человеческого разума» еще никто не разгадал, поэтому перенести принципы работы сознания на машину пока невозможно.

Кто окажется прав, предсказать сложно. Пока нет веских доводов в пользу того, что ИИ сможет осознать свое существование, самостоятельно себя программировать и проявлять эмоции.

Угрозы автономного вооружения

Если искусственный интеллект начнет эволюционировать и научится саморазвиваться, люди не смогут влиять на него. Маловероятно, что ИИ целенаправленно решит уничтожить человечество. Скорее, он просто выйдет из-под контроля либо попадет в руки не тех людей. Чтобы этого не произошло, нужно уже сейчас задуматься о законах, регулирующих ИИ, о робоэтике и машинной морали. Известный астрофизик Стивен Хокинг, основатель Microsoft Билл Гейтс и предприниматель Илон Маск уже давно призывают научную общественность выработать свод правил для проектирования и создания роботов и ИИ, как когда-то разрабатывались правила для машиностроительных производств.

Сейчас робототехника регулируется общими электротехническими, промышленными и другими правилами. Но это постоянно растущая мощная отрасль, ей нужен свой ряд СНиПов, ГОСТов, допусков и нормативных документов, которые лягут в основу международного кодекса. В нем, в первую очередь, нужно прописать правила, касающиеся автономного вооружения:

Наличие красной кнопки, которая позволит ликвидировать систему. Какими бы ресурсами искусственный интеллект ни обладал, какие бы задачи ему ни делегировали, должна быть кнопка «стоп», которая гарантированно выведет систему из строя.

Грамотное делегирование задач. В 80-е годы была такая история: радар принял солнечные блики за огненный хвост ядерных ракет. В соответствии с распознанной информацией, система ввела все боеголовки в максимальную готовность и отправила сигнал офицеру, чтобы произвести запуск — это было предусмотрено правилами. Офицер разобрался в ситуации, не нажал на кнопку и буквально спас мир от ядерной войны. Вывод — нельзя делегировать полномочия, способные уничтожить человечество, машине. В частности, не должно появиться полностью автономного оружия массового поражения.

Регламентация системы прицеливания и навигации. Уже сегодня применяются автоматизированные орудия локального поражения — системы распознавания врагов на танках, системы автоматического обнаружения противников на автоматах и т.д. Стоит понимать, что пока не существует ни одной системы распознавания объектов с точностью 100%. Всегда есть погрешность. И если для Facebook это простительно, то для вооружения есть риск поражения мирных жителей, жилых поселений. Поэтому стоит регламентировать навигацию и систему прицеливания как можно скорее.

Важность человеческого фактора. Человек при принятии решений учитывает многочисленные обстоятельства, в том числе моральные, ориентируется на окружающую среду. Основная задача ИИ — повышение эффективности, автоматизация и снижение затрат, ничем другим машина не руководствуется. Главное — поразить противника, даже если при этом под удар попадет жилое поселение. Поэтому не стоит доверять искусственному интеллекту стратегию на финальном этапе. Можно запросить аналитику, наиболее выгодные варианты, но окончательное решение должен принимать человек.

Протоколирование. Все робототехнические устройства, использующиеся в военных действиях, должны работать по закрытым протоколам, для которых необходимо разработать соответствующие стандарты.

Устройства должны обмениваться информацией с командным пунктом или между собой по особым типам шифрования, к которым никто не имеет доступ. Не бывает полностью безопасных цифровых систем. Если протоколы недостаточно защищены, к ним могут подключиться террористы.

Сейчас разработкой этого международного кодекса занимаются коллеги во всем мире. Письмо к ООН, под которым мы подписались, — это первый шаг к утверждению документа, регламентирующего использование технологий в области искусственного интеллекта с техническими и моральными составляющими. И последствия для стран, которые планируют внедрять роботов в войска без соблюдения кодекса, должны быть такими же, как для стран, нелегально производящих ядерное или химическое оружие.

Станет ли научная фантастика о бунте машин реальностью, никто не знает. По мнению Стивена Хокинга, искусственный интеллект может стать как самым лучшим, так и самым худшим изобретением человечества. Пока, конечно, бояться рано. Современные нейронные сети устроены в полторы тысячи раз проще, чем головной мозг крысы. Поэтому сейчас самое время создать условия для максимально безопасного развития ИИ, чтобы избежать проблем, которые могут возникнуть в будущем — бесконтрольности, «гонки искусственных интеллектов», тайных разработок и хакерских атак.

Источник