Проблемы "разумных" роботов

[Мирель]

Здравствуйте.
Вопросы к знатокам фантастики и робототехники.
1. Наткнулась сразу на несколько рассказов, в которых сон роботов расценивался как криминал.
Что такого криминального может быть в том, что робот "уснёт"? (допустим, робот достаточно "разумен")
Первое, что приходит в голову - что "засыпая" робот "отлынивает от работы", но, похоже, есть что-то более серьёзное, чем временная "нетрудоспособность" робота.
Есть какие-то объяснения запрета на сон роботов?

(а то так припишешь, что робот может спать, а это окажется нарушение всех мыслимых и немыслимых законов)


2. Как роботу обойти "внутренний запрет".

Мне нужно прописать сцену с тем, что робот сталкивается в внутренним запретом программы и этот запрет нужно во что-бы то ни стало обойти.

примерное описание

Имеется робот, постоянно находящийся при ребёнке, запрограммированный на обучение подопечного и обеспечение его безопасности. В том числе робот может оказывать медицинскую помощь. Но, чтобы этот робот не пытался лечить серьёзные травмы/болезни, программой наложено ограничение. То есть первую помощь робот окажет, а в более серьёзном случае возникает команда "ОБРАТИТЬСЯ К ВРАЧУ!!!", возможно, с блокировкой дальнейших "медицинских действий" этого робота.
По сюжету этот робот оказывается наедине с тяжело раненым человеком. помощь подойдёт только через некоторое время и необходимо, чтобы раненый её дождался для чего необходимо выполнение сложных медицинских процедур, а у робота выскочил этот блок "обратиться к врачу". То есть робот понимает, что человек может умереть, в принципе, представляет, что нужно делать, но не может. Нет, потом-то, конечно, робот этот запрет обходит, всё закончится хорошо, но... мне нужно показать "моральные страдания" робота

Не может быть, чтобы подобного сюжета с запретом на что-то для робота и попыткой этот запрет обойти не было где-нибудь хорошо описано. Если вы встречались с чем-то подобным, очень прошу порекомендовать литературу для чтения. Хочется посмотреть, как с подобной проблемой справлялись другие авторы, чтобы понять, какие ошибки в описании допускаю я.
Пока приходят на ум приходят только "директивы" для Робокопа во втором фильме, но хотелось бы ещё чего-нибудь для сравления

@темы: Философское, Закон, Техника

Comments

[Koyomy]

Что такого криминального может быть в том, что робот "уснёт"?

Может, от функционала\обстановки зависит?
Потому как спящий режим, по идее, всего лишь экономия энергетических ресурсов. возможно, попутно еще самодиагностика. Другой вопрос, как быстро робот может из этого самого режима выйти. На гражданке может быть не принципиально, во время боевых действий, например, или иных ЧС - критично.

[Frigg de Lutz]

Мирель, Спокойный, непрерывный и защищенный сон - это до довольно недавнего времени была прерогатива только знати и богатых людей. Раньше не было трудового законодательства и люди работали в неурочное время или как барин прикажет. Плюс, раньше в дом среди ночи мог залезть грабитель, например, или насильник, что со спокойным сном не вяжется совершенно. это я не из воздуха беру, слышала доклад в Стэнфорде на эту тему.

Думаю, спокойный сон - это в иерархии стратификации довольно большое достижение, поэтому спящие роботы - это не только потеря производительности, но и довольно высокое положение робота в обществе, что без объяснения вообще выглядит странно. Наверное, спящих роботов может позволить себе только очень эксцентричный богач. Потому что иначе робота можно просто выключить и не тратить его способности?

[Lady Ges]

А зачем роботу спать?
Вы этот вопрос примерьте на компьютер.
То есть или предусмотрена эксплуатация в режиме 24/7 или специально задан "спящий режим", когда система находится в ожидании следующей команды и энергопотребление снижено. Это если "включить-выключить" слишком дорого и хлопотно.

То есть первую помощь робот окажет, а в более серьёзном случае возникает команда "ОБРАТИТЬСЯ К ВРАЧУ!!!", возможно, с блокировкой дальнейших "медицинских действий" этого робота.

Странно, что не предусмотрен пункт "додержать пациента живым до приезда врача". И никак не предусмотрено, что врача может не быть под рукой. По логике алгоритм должен быть примерно таким:
1. Вызвать врача.
2. Сделать все, чтобы пациент дожил до приезда врача.

[C@es@r]

То есть робот понимает, что человек может умереть, в принципе, представляет, что нужно делать, но не может. Нет, потом-то, конечно, робот этот запрет обходит, всё закончится хорошо, но... мне нужно показать "моральные страдания" робота

Какой же это нахрен робот? Вы описываете человека, а обзываете его почему-то роботом.

[W.G.]

Человек ранен.
Цель: обратиться ко врачу.
Начать сканирование области на поиск цели "врач" с наибольшей компетенцией.
Поиск завершен. Обнаружена одна цель. Робот марки 123-456 "Заботник"
Поступил запрос на лечение.
Приступить к лечению.

[Цветущий розмарин]

По поводу обхода "блока" - посмотрите прохождение "Детройт: Стать человеком" Там, собственно, весь сюжет игры строится на том, что запрограммированный искусственный интеллект пытается обойти свою программу.

[KuWizard]

Есть какие-то объяснения запрета на сон роботов?

Я, как выросший на фантастике 80х и старше, в ступор от вопроса впал, мне казался очевиден ответ... ну, если вы, конечно, про фантастику того периода, типа «Снятся ли андроидам электроовцы?» (собственно, этот вопрос в заглавие и вынесен )
Сон - это последствие наличия сознания, разума, именно созданного естественным путём. Либо, как вариант, сон означает наличие воображения, что тоже намекает на разумность его носителя. В любом случае, в роботов не закладывают программу "сна" потому что она бессмысленна. Если она появилась, значит что-то пошло не по плану, робот разумен, ололо и т.п.

[Honsu]

Мирель,
0. "робот не может своим действием или бездействием навредить человеку"
1. "запрет на мед действия, в результате которых человек умирает".

моральные страдания -> определение какая из конфигураций первична

возможный результат: системный сбой в результате конфликта двух противоположных конфигураций.
а не может быть одновременно равно 1 и 0

возвращение к заводским настройкам.
наложенный позднее запрет на мед действия стирается из памяти.

возможные усложнения:
вместе со вторичным запретом стирается медицинская программа.

[bitari]

Что такого криминального может быть в том, что робот "уснёт"?

Так ваш робот "уснет" или "увидит сны"? Это две разные вещи, ИМХО.
В первом нет ничего криминального, это просто сокращенное название "спящего режима", когда выполнение большинства программ приостанавливается для экономии энергии, подзарядки батарей или в иных целях.
А вот второе, особенно если оно не предусмотрено штатным ПО - уже явный и недвусмысленный признак сбоя, который делает эксплуатацию данной машины непредсказуемой и даже опасной для человека.

[Зоотехник]

Мирель, а какие у вас ещё блоки есть в роботах, насколько сильно они отличаются от человека? Насколько сильно у них развито свободное обучение и есть своё сознание?
Сон говорит о разуме, «моральные страдания» - тоже про разум, потому что это выход за пределы кода, прописанного при создании.

[Никс Алэ]

1. Физиологически сон - состояние, позволяющее обработать полученную за день информацию и перевести из кратковременной в долговременную память, т.е. выстроить устойчивые биохимические и нейронные структуры. У роботов вроде не так процесс идёт? кто технических специальностей, сможет прокомментировать лучше
Плюс, в фазе быстрого сна могут прокручиваться варианты существующих проблем с дальнейшим сбросом стресса.
отвечаю и понимаю, что по сути, спящий человек тоже в своего рода "спящем режиме" - работа в центральном процессоре имени мозга все равно идёт, просто задействованы другие, более древние и менее энергозатратные режимы.

2. Моральные терзания — это личность. А если условный робот действует строго в рамках заданных условий ПО, то ни о каких терзаниях речи не идёт.
Другое дело, что тяжёлый пациент требует оказания экстренной помощи, которую логично заложить базовее, ччем "поднялось давление - дать таблетку гипототонического препарата короткого действия". То есть обеспечить сохранение витальных функций робот должен уметь. А операции на открытом сердце... Ну это уже потом.
сложно говорить, не зная предполагаемой угрожающей жизни ситуации. Травма и тромбоэмболия легочной артерии - очень разные вещи

[meg aka moula]

Снится ли андроиду электронная овца? )) ИМХО, роботам не дозволялось "спать" потому, что это пугало их хозяев - сон ведь не был предусмотрен производителями. Слишком очеловечивал, наверное. А этого производители старались избегать, потому что в этом случае у человека могли возникнуть нежелательные психические реакции, типа страха и ксенофобии или - наоборот - угрызений совести за эксплуатацию разумного существа.

По поводу запрета на спасение жизни - это маловероятно. Не могли производители не учесть такой вариант, при котором медицинская помощь будет недоступна. Вот если бы дилемма была такова, что для спасения жизни одного человека пришлось бы убить другого, вот тут бы возник конфликт интересов.

Могу даже представить себе ситуацию - террорист, к примеру, собирается взорвать бомбу, которая убьет хозяина робота, но не самого робота, а если робот попытается ее обезвредить, сработает механизм, который убьет террориста. Первый закон против первого закона - пат. Приказывают оба противоположное, так что второй закон - тоже пат. Вот вам и "моральные страдания", при условии, что у роботов есть мораль.

Выход же может быть таким: робот должен сделать что-то, что нарушит равновесие. К примеру, повредить себя до такой степени, что взрыв его "убьет". Тогда приоритеты изменятся - третий закон "перетянет чашу весов", и робот сможет разобрать бомбу. Это, имхо, реальнее, чем дать человеку умереть просто так.

(Кстати, если человек умрет, запрет "помогать лечить серьезные травмы" перестанет действовать - на трупы первый закон не распространяется. Это может быть выходом, к примеру, в ситуации, если человек истекал кровью от серьезной раны, а роботу запрет не давал ее зашить. И вот вам "моральные терзания" - он знает, что у человека единственный шанс выжить, только если тот умрет "правильно" - робот должен откачать и собрать кровь, чтобы потом ее можно было влить обратно, когда он зашьет рану. И ему приходится просить человека по сути приказать его убить - очень тяжелый внутренний конфликт, имхо).

Это все было у Азимова, если что.

[Naelin]

Это все было у Азимова, если что.

Плюсую :-)
www.livelib.ru/book/1000452393-miry-ajzeka-azim...
В этом сборнике большая часть рассказов как раз-таки раскрывает историю, как роботы взаимодействуют с Тремя законами. Особенно хорош в этом плане циклю про Сьюзен Келвин.

[yako-kaede]

Н@ла,

У роботов вроде не так процесс идёт? кто технических специальностей

у робота аналогом человеческого сна можно считать процесс индексирования, "чистки" (устранения коллизий и дублирований), упаковки и резервной архивации баз данных - и плюс (но это уже "глубокий сон" ) дефрагментацию носителя.
Это вполне себе штатные процедуры, которые должны быть предусмотрены.


В общем, я даже не знаю, как одно с другим может одновременно существовать в пределах одного робота:
У человека сны - это именно пересортировка инфы в мозгу, штатный процесс.
У робота пересортировка - это аналог сна и тоже штатный процесс.

Вот у киборгов Громыки я примерно понимаю, как всё разделялось:
Если киборгом управлял только процессор и всю входящую инфу брал на себя, то мозг был вроде как "пустой" и снам там браться было неоткуда.
А если мозги тоже загружались информацией и личность развивалась, то процессор свои базы данных сортировал сам себе, по протоколу, заложенному технарями, а мозг начинал заниматься сортировкой своей инфы по протоколам, заложенным природой - то есть, начинал киборгу сны показывать. И одно - не сбой, а штатный процесс, и второе тоже нормальное здоровое функционирование системы.
Просто систем две, работающих в связке, а у "правильного" киборга должна быть только одна.

А у робота есть только одна система: процессор и электронная память, инфа в которой в любом случае укладывается и сортируется программно, по заложенным разрабами протоколам.
По идее, даже если самообучаемый робот дорастёт до самоосознания, на работу его процессора с информацией это никак не повлияет, она будет продолжаться точно так же. А если не будет - он начнёт постепенно глючить и выйдет из строя - примерно как и человек, которой не спал много дней подряд или спал в неправильных режимах, не позволяющих мозгам нормально всё утрясти и разгрести.
Ну разве что считать, что пока у робота нет сознания, процессы наведения порядка в базе ему до лампочки, а когда сознание появляется, он начинает их замечать и осознавать как свои "сны"? И если робот сболтнул, что видел сон - значит, в нём сознание самозародилось, а это вредно и опасно для их владельцев?

[x87]

Сон робота криминален, потому что это его очеловечивает. Не надо путать спящий режим компьютера для экономиии энергиии и сон псевдочеловеческий с всеми его плюшками, в виде снов, например. Таким образом робот выходит за рамки своего интелллекта, развивается как личность, начинает иметь своё мнение, задавать вопросы по типу "а жив ли я", "а не человек ли я", или "что отличает меня от людей и кто из нас круче", и становится опасен. Это вечный парадокс, по которому люди хотят иметь искуственнный интелллект, похожий на себя, но боятся, что он окажется слишком умным и превзойдёт их.

Если робот должен оказывать только первую помощь, а болеее серьёзную нет, у него элементарно нет алгоритма для болеее серьёзных операций. Строго говоря, в вашем случае он должен рыдать в три ручья, но сделать ничего не сможет. Если же алгоритм для чего-то большего у него есть, но заблокирован запретом, обязательно должен быть экстреннный протокол, по которому он делает всё возможное, если звёзды не сошлись и врача нет. В вашем случае получается, что врач есть, но прибудет поздно, экстреннный протокол вроде как не действует, я бы предложила обойти, сдвинув уровень первой помощи, то есть записать превышающие её действия в список необходимых. В этом хорошо помогают законы робототехники Азимова, по которым робот не может своим бездействием причинять вред человеку, то есть по логике должен выйти за рамки своих ограничений во имя соблюдения 3-го закона.

у робота аналогом человеческого сна можно считать процесс индексирования, "чистки" (устранения коллизий и дублирований), упаковки и резервной архивации баз данных - и плюс (но это уже "глубокий сон" ) дефрагментацию носителя.
Это вполне себе штатные процедуры, которые должны быть предусмотрены.

Верно вы всё говорите, но это как раз не криминал, и не считается за сон, хотя по уму вполне себе должно. Сдаётся мне, вся беда в том, что авторы всевозможных произведений писали их в те далёкие времена, когда диск в 1Гб памяти занимал комнату и считался "вау", и об упомянутых вами словах никто не слышал. Я часто вижу пробелы между холодной двоичной логикой и личностью с чувствами и вечными вопросами, и всё потому, что автор технологически не может представить себе вот это вот всё.

[Хысь]

(а то так припишешь, что робот может спать, а это окажется нарушение всех мыслимых и немыслимых законов)

Как один из любителей той же самой фантастики 80-х пришла от вопроса в недоумение.

Был у меня сборник неплохой отечественной космической фантастики, и там как раз один из рассказов был об этом - сделали робота из металлических и биокомпонентов, что-то вроде сухопутного осьминога для исследования опасной планеты. И вот на первых тестах он показал себя хорошо, но был необученным, а на последующих и далее все хуже и хуже. То есть он становился умнее, изобретал собственные стратегии, но физически до первых тестов недотягивал, потом снова показал себя хорошо и снова провалы. Все в панике, экспедиция под срывом, один из инженеров ночь не спит, идет бродить по лесу, до утра сидит у реки и вдруг до него доходит, что с этим интенсивным обучением они не давали роботу спать, кроме того дня, когда было снова хорошо. Робота оставляют в покое и он проходит генеральные испытания с отличием.
Так что никаким нарушением это не будет.

[x87]

Хысь, а есть автор/название? А то интересно стало

[Хысь]

M0rn!ng St@r, Владимир Михановский, сборник "Гостиница «Сигма»", рассказ, по-моему, "Тобор-1"

[Ursulisa]

Криминал снов у робота не в том, что робот становится слишком человечным, а в том, что люди-то, оказывается, держат в рабстве разумных существ с самостоятельным интеллектом, чувствами и пр. Узнав, что у робота есть сны, моральные страдания и всякие там чувства, человек внезапно обнаруживает, что он, человек, большой мудак. Это центральная этическая проблема использования искусственного интеллекта.

[Kordhard]

Очень глубоко эта проблема проработана в сериале "Дикий Запад", вышло два сезона. Очень глубокий сериал, поднимающий вопрос: "А что такое человек?"

[yako-kaede]

M0rn!ng St@r,

Сдаётся мне, вся беда в том, что авторы всевозможных произведений писали их в те далёкие времена, когда диск в 1Гб памяти занимал комнату и считался "вау", и об упомянутых вами словах никто не слышал.

да нет, на самом деле: все эти слова уже были и всё это активно использовалось.
Как раз в виду того, что объёмы памяти и скорость доступа к данным были очень критичным вопросом.
Собственно, всплеск темы роботов в НФ как раз и связан с тем, что в этот период компьютеры наконец вышли за пределы научных и военных лабораторий и стали всё шире появляться в жизни рядовых граждан. Сначала в виде вычислительных центров в крупных фирмах с отдельным штатом обслуживающего персонала, но потом и на рабочих местах сотрудников в виде терминалов, связанных с этими ВЦ - и дальше по нарастающей.
С учетом того, что всё это опиралось (и до сих пор опирается) на научную базу, изрядный кусок которой был ещё в 1930-40-е годы разработан (просто "железо" до удобоваримой по скоростям, размерам и финансовым затратам реализации этих теорий доросло сильно позже) - любой писатель мог, при желании, со всем этим ознакомиться сам или найти людей, которые на пальцах в общих чертах объяснят.

Мне кажется, вся эта заморочь со сновидениями растёт из стереотипов культуры.
А европейская культура, особенно западная, даже у светского, с высшим образованием (и даже с атеистическим мировоззрением) человека всё равно изрядно сформирована под влиянием христианства. А конец 60-х - 70-е - добавьте к этому мощный интерес к эзотерике и появление странных гибридов индуизма, буддизма, шаманизма и т.д. с завязкой на наркотические трипы. Даже если человек во всё это лично не лез, оно всё равно витало в воздухе и влияло на массовую культуру.
А в этой системе общих представлений и стереотипов, сновидения - это "путешествие души по высшим планам бытия", а душа по христианским канонам есть только у людей, и именно потому люди имеют "свободную волю".
То есть, факт наличия сновидений приравнивается к наличию свободной воли. Ну или "души".

Если все эти устойчивые стереотипы мешали даже биологам нормально исследовать проблемы сновидений и уровня интеллекта у животных, когда некоторые результаты исследований в 60-70-е зарубались советами западных ВУЗов по причинам а-ля: "вы утверждаете, что у собаки есть чувства и сны, вы практически заявляете, что у собаки есть душа, это будет скандал!" - и т.п. То что уж говорить о писателе, которому надо осветить в своей книге именно моральные проблемы и социальные вопросы.
Писателю надо написать так, чтобы основная масса читателей поняла и прониклась, потому писатель использует символы и образы из той сферы "идей и общих представлений", к которой "подключен" он сам и его целевая аудитория.

[Мирель]

Большое спасибо всем ответившим.
Теперь стало понятнее, что делать с роботом, и какие моменты нуждаются в уточнении и пояснении.

Ещё раз спасибо за помощь