Про военную роботизацию, этику и материализм

Лора Нолан выступила с докладом «Роботы-убийцы опасны» (Killer Robots Considered Harmful). Видеозапись доступна по этой ссылке.

Доклад Лора начинает с фото T-800 и тезисом, что её заботит не то, что роботы станут слишком умными, но то, что будет, если создаваемое автономное оружие «будет слишком глупым».

Продолжая повествование, Лора рассказывает как ещё в 2017 работала в Google, между которой и министерством обороны США, по её словам, было заключено секретное соглашение о работе над проектом Maven. Проект подразумевал разработку программного обеспечения, основанного на машинном обучении, упрощающего задачи анализа информации, собираемой различными системами наблюдения. Подразумевалось, что результаты такого анализа далее могли использоваться для принятия решений в автоматическом или полуавтоматическом режиме.

Далее в докладе приводятся примеры автономных систем, их оснащения и принципов действия. В ходе рассказа Лора акцентирует внимание на том, что описываемые системы несовершенны и что ценой этого несовершенства становятся, или могут стать невинные люди. В частности, внимание заостряется на том, что на задачах, которые должны выполнять автономные роботы, имеющиеся модели машинного обучения показывают себя не с лучшей стороны. Особенно по причине огромного количества необходимых для принятия во внимание факторов. По мнению докладчицы проблема выходит за границы машинного обучения и приближается к проблеме искусственного интеллекта. Далее приводится пример действий Станислава Петрова, который в сентябре 1983 года, будучи оперативным дежурным, сопоставив информацию от системы «Око» о ракетном нападении со стороны США, с имевшейся информацией из других источников, квалифицировал предупреждение как ложное. Мир был спасён.

Завершается доклад мыслями Лоры о том, что решение нужно искать в понимании мира и его моделировании, а также призывом поддержать кампанию Stop Killer Robots.

Теперь, если позволите, несколько моих собственных мыслей по этому поводу.
Понимать мир бесспорно полезно, однако делать это нужно не для того, чтобы решить задачу создания более избирательных в убийстве роботов. Выглядит очень похожим на попытку, выражаясь избитой фразой, лечить симптом, а не причину болезни. Но вся беда, похоже, в том, что причину попросту невозможно найти, если искать не пытаться или искать в другом месте.

За рассуждениями Лоры (и, наверняка, многих других людей) об этичности, судя по её выступлению стоит идеализм, который мешает взглянуть глубже. Это заметно и по измышлению автора, что задачей Петрова, находившегося в тот момент якобы в бункере с ядерными ракетами, было решить, следует ли делать ответные запуски, то есть, по установке, что герои одиночки спасают миры. Это ещё более заметно из ответа данного Лорой на вопрос из зала: «Что делать, если мы не будем выпускать такое оружие, а диктаторы будут?» Ответ в том духе, что должен быть международный моральный консенсус, что «это плохо» и аргумент, что «ведь большинство диктаторов не используют химическое оружие» звучит довольно наивно и беспомощно, согласитесь.

Второй же заданный после выступления вопрос заслуживает больше внимания, хоть его автор и называет его немного стушевавшись «философским». Вопрос в том, откуда берётся проблема и как к ней подойти, что почитать. Наш докладчик заметно колеблется, довольно сумбурно предлагает почитать что-то про этику войны. Я же предложу интересующимся темой начать с книжки «Диалектический материализм». Книжка старая, но в многом актуальная. Легко не будет, но почитать/послушать стоит.

Зри в корень.