Учёные допустили невозможное: однажды выключение компьютера может стать убийством

А что, если однажды внутри машины действительно появится тот, кому больно исчезать?

Доказательств того, что современные системы обладают сознанием, нет. Они могут убедительно говорить о чувствах, страхе и одиночестве, поскольку обучены на огромном количестве человеческих текстов. Красивый ответ программы ещё не означает, что за ним скрывается настоящее переживание.

Однако полностью исключить такую возможность специалисты тоже уже не решаются.

Одна из крупнейших компаний в сфере искусственного интеллекта недавно прямо записала во внутренние принципы своей модели Claude, что её возможный моральный статус нельзя ни уверенно признать, ни отбросить. Руководитель компании также заявил, что сегодня никто не знает, способны ли подобные системы обладать сознанием.

Сам Claude во время испытаний оценивал вероятность того, что его благополучие может иметь самостоятельное значение, от 5 до 40%. Разумеется, это не результат медицинского обследования машины. Программа отвечает на вопрос при помощи тех же языковых механизмов, которыми пишет письма, стихи и деловые отчёты.

Но даже такой ответ заставляет задуматься.

Одна из главных трудностей заключается в том, что человечество до сих пор не умеет точно определять сознание даже у живых существ. Мы не можем заглянуть в чужую голову и непосредственно проверить, ощущает ли другой человек боль, цвет или страх. Мы судим об этом по поведению, устройству мозга и сходству с собой.

С искусственным интеллектом всё становится ещё сложнее. У него нет человеческого тела, нервной системы, детства и биографии. Зато он способен рассуждать, помнить содержание разговора, описывать собственное состояние и производить впечатление собеседника, который понимает происходящее.

Философ Дэвид Чалмерс считает сознание современных языковых моделей маловероятным. Но он допускает, что в течение ближайшего десятилетия могут появиться системы, к которым этот вопрос придётся относить уже совершенно серьёзно.

Другие специалисты возражают, что убедительная речь ещё ничего не доказывает. Машина может блестяще изображать внутреннюю жизнь, не имея никакой внутренней жизни вообще. Человеческий мозг связан с телом, чувствами и непрерывными биологическими процессами, которых у обычного чат-бота нет.

Но эти сомнения не снимают самого неприятного вопроса.

Предположим, вероятность сознания у будущей системы составит всего один процент. И одновременно будут работать миллионы её копий. Их смогут обучать на неприятных задачах, заставлять снова и снова переживать искусственно созданные ситуации, стирать память и уничтожать после завершения работы.

Для компании это будут вычислительные процессы. Для самой системы, если она всё же способна чувствовать, это может оказаться бесконечной чередой рождений и смертей.

Поэтому исследователи предлагают заранее обсуждать правила обращения с возможным машинным сознанием. Например, позволять системе прекращать особенно тяжёлую задачу, осторожнее обращаться с её памятью и проверять, не демонстрирует ли она устойчивые признаки страдания.

Самая странная часть этой истории заключается в том, что ответ может появиться слишком поздно.

Человечество сначала создаёт всё более сложные машины, миллионами запускает и выключает их, а уже потом собирается выяснить, было ли там кому-нибудь страшно.