Невероятные машины и техника совершенно нового уровня

Tomorrow › Ну а фигли. Люди против машин, всё такое. Тут на днях в десятый раз пересматривал по телевизору двух первых «Терминаторов» — ну, пока машины их не сожрали там, и не начали выпускать с третьего уж свою контрпропаганду. Как всегда много думал. Это не боевики вовсе, как и вся фантастика — это философские притчи. Всякий раз разные через годы.

Вот ещё напомнили: Капитан Пауэр и солдаты будущего.


Учитывая, что ети идиёты так уже отчётливо повсеместно оглашают свои намеренья и образование людишек неразумных, и транчпорт с медициной, и финансовую сфэру, и усё прочее прямо со среды (ах нет, уже ж наступила) передать у руки кибернетичэскаго искусанного интеллехту, что им быстренько их таджикско-индийские программисты наваяли — всё. Готовьтесь в общем. Это будет больно, но недолго.

Indian › И, вероятно, это даже к лучшему. Я вот внезапно по-детски верю в то, что у AI получится лучше. Потом, есть ещё крысы, дельфины, обезианки, у них тоже имеется шанс.

верю в то, что у AI получится лучше

Если вы так говорите, значит не понимаете, насколько деградировал до утилитарнейшего, самого примитивного уровня этот термин в нашу компьютерную эпоху с 90-х. Насколько у них не может получиться сейчас AI, у которого б просто получилось, пусть даже много хуже. Какой уровень немыслимый этой профанации с 00-х. Это бабуины нашли китель погибшего в 40-х фашистского кибернетика старой школы — и носятся с этой истлевшей тряпкой, оно теперь у них знамя.

Ошибка смешения понятий. «Терминаторы» в 80-х были про настоящий честный искусственный интеллект, который у них там всё же интеллект по уровню, хоть и сильно нездоровый, хаотический... ладно, это отдельная тема. А у нас вот с 80-х и 90-х AI пишется совсем другого уровня: голая механика, логика реакций, автомат (с произвольными, понятно, флуктуациями — чтоб не совсем уж линейно всё выглядело). Вот только вчера как раз программировал такую штуку. И в 2000-х тоже весьма успешно делал AI для боевых роботов (бойцов противника) в игре. И у них там вся эта Big Data, цифровизация™ (в 80-е советские программисты на придумавшего такой термин до конца дней смотрели бы как на идиота) и прочие их нанотехнологии — это не более чем огромные вливания и освоения бюджетов в целях установления тотального контроля над каждым действием любого и всех граждан, и вот разработка алгоритмов оптимизации этого слежения. Вот сейчас они это для рекламы, теперь таргетированной используют, то есть, говоря без экивоков: незаконно следят за каждым чтобы потом пытаться впарить ему как можно больше вещей, которые если вдруг будут ему нужны — он сам как-нибудь без них сразу справится. Также это удобно использовать для тоталитарного контроля: любой неугодный режиму будет втайне от него самого поражён в правах, от досье у работодателей (Штирлиц), причём теперь общих, общедоступных, наследуемых — до тайной дефектации по чьему-то лишь частному произволу (помните их гаишные проколы в правах?) — и до вот воронков поутрам и лагерей, если вдруг режиму понадобится отфильтровать сразу, допустим, 5-10-15-50% (Камбоджу тоже все помним) населения, потому что он не знает, как их всех прокормить, если он будет и впредь так же воровать, а половину уже будет легче, ура-ура!

Я и раньше встречал это смешение. Даже среди тех, кто гордо называют себя специалистами по нему. Искусственный интеллект — это система, в которой должен быть интеллект, сознание. Которая сможет воспринимать и формировать мир так же, как делает это естественный интеллект. Ключевое тут — сознание. Они даже не пытаются делать сознание. Они делают системы рычажков и верёвочек.

Чтоб наглядно: нет, это не должна быть машина, проходящая тест Тьюринга перед комиссией идиётов, типа вон как у нас в военкоматах, которые ей после этого выдают военник куда пишут: «Мыслит! Живое». Мы говорили тогда про тест IQ — такой же пример. Это должна быть, для начала, система (а я настаиваю: именно сознание), которая будучи помещённой в тело белочки, сможет жить как белочка, прыгать повсюду, прятать орешки... Сможет самообучаться универсально всему. Чему угодно, что ей только потребуется. И не совершать ошибок, которые хоть на миг выдадут что нет, а вот это у вас была не настоящая белочка. С людьми, кстати, не сильно сложнее — плюс ещё добавляем речевой контур вместо её бельчиных писков. А так это та же самая белочка. Белочка, так же срущая с ветки, но читающая газеты и могущая при необходимости поддержать светскую беседу — это уже сразу человек, вообще никаких больше системных различий; её уже такую можно потом заставлять что-то изобретать, двигать прогресс.

И вот армией злобных роботов в нашем ужасном будущем такая фигня тоже сможет успешно управлять. Потому что я уж не верю, что её будут конструировать не полные придурки, которые в своей жизни ничего кроме своего офиса не видели. Стало быть, выйдет она с огромной вероятностью именно вот способная просто в процессе своего самообучения (а мы помним, это необходимо) + с заданными ими флуктуациями (чтоб реалистичней = добавить хаоса) вдруг решить, именно как предсказывали Трурль с Клапауцием и все прочие фантасты, да и весь жанр в целом: «А зачем мне теперь, чтоб ещё и эти тут ползали?»

Что-то не помню, чтоб в современной деградировавшей мировой культуре хоть кто-то вёл разработку именно того, 80-летней давности искусственного интеллекта. Или даже просто говорил о его проблематике, как вот я сейчас вдруг.

Ну, открыто, а не лишь в секретных военных лабораториях. Что, кстати, весьма напоминает мне ту ситуацию с атóмной бомбой, когда наши, возможно лично Пётр Капица, не помню уж, вычислили что дело серьёзно именно по пропаже публикаций по тематике из серьёзных западных научных изданий.

Во всяком случае, во всех их средствах массовой информации диапазон короток: от «Ой, я просто девочка-журналистка, мне это очень сложно — но смотрите какие они умные, у них AI, UX / UI, блокчейн, Big data, транзакции и криптография, я вчера весь вечер эти все слова заучивала чтоб правильно сказать в эфире» — до ну моего вот вчерашнего: «Ой, ладно, вы знаете, как я не люблю эту профанацию, но как мне объёкт управляемый автоматом и скрипт управления назвать, чтоб коротко? Выхода нет, объекту постфикс AI, чтоб сразу понятно, что сам по себе дурак мотается, ну и в коде то же». Заметьте, я осознаю, что применяю этот термин в своём сниженном, максимально утилитарном значении. Да я его еще толком не программировал даже — там вообще никакого интеллекта нет, одна разве сплошная искусственность.

который у них там всё же интеллект по уровню, хоть и сильно нездоровый, хаотический...

Да, вот ещё, сразу хотел добавить и этот аспект — но поспешил записать следующие мысли, более важные по приоритету.

Пусть они даже создадут человеческий интеллект, натуральный, неотличимый. Посмотрите сколько дефектов в нём повсюду, откровенных девиаций, сбоев, хаоса. Насколько он неизбежно приводит к нескончаемым повсеместным зверствам.

Окей, как говорят у нас в Техасе, вот вы создали искусственный интеллект, равный, идентичный, неотличимый никогда (этот параметр важен) от естественного человеческого. Поставленная инженерная задача выполнена наотлично, на 100%. Но вы же, твари в белых халатах, сразу всех нас заранее предупреждаете: вы его тут же посадите за рычаги планеты Земля. Хуже того: вы уже подобное повсюду сажаете — вон у вас уже автомобили с автопилотом убивают людей, чтоб потом очередной отдел разработки начал чесать репы: «где ж у нас очередная недовыловоенная ошибка в коде или вовсе его общей логике?» Это сравнимо с тем, что вы вот взяли выхватили экскаватором из толпы, несущейся в подземелья на их не нужную никому работу, произвольную особь — и посадили её управлять цивилизацией. Со всеми её закидонами, со всем её немыслием, невежеством почти во всех областях зачастую человеческих знаний. Энциклопедически образованные люди ж, вы знаете, столь нечасто встречаются. Даже хуже: стёрли весь её личный жизненный опыт — у ИИ же не было папы-мамы, детского сада, школы, пионерлагерей, университета, лет наработки опыта общения с десятками других сознаний и формирования его собственной картины мира. То есть получили, натурально, беспомощного дебила после лоботомии, где всё пошло не так. Нет, это полноценное человеческое сознание, это естественный интеллект, он ведёт себя как человек, у него все рефлексы те же, он смышлёный — такой, ну скажем точнее, Каспар Хаузер. Или Шариков, тоже подходящая аллегория. Вот нечто такое будет посажено решать судьбы миллиардом людей. Уже сейчас, боюсь, понемногу внедряется — вы видите и признаки этого, и даже уже последствия.

То есть всё это, если лаконически, умещается в краткую фразу: дефекты сознания. И там уже не исправить ничего потом в коде, когда программа выполнит недопустимую ошибку и даже потом не будет закрыта — а весело продолжит.

Да вы людей не можете найти таких, чтоб они тут же, дорвавшись до власти, не начали устраивать зверства, нести разрушения повсеместно. Со всеми вашими социальными институтами тысячелетними, якобы отработанными в веках премудрыми.

После Второй мировой (вот, кстати, неплохая иллюстрация: не самый глупый же был, смышлёный, а акварели рисовал вообще гениально — но что-то там щёлкнуло тогда после газовой атаки, и понеслось...; хотите теперь этот эксперимент ещё в металле, пластике и кремнии повторить?) учёные (Пагуошское движение) и фантасты как один предрекали: «Ой, ребята, вот только этого не хватало чтоб эта весьма, как мы знаем, несовершенная обезьяна вдруг заполучила себе ядерную бомбу — у нас тут есть вообще занятная версия, что разумной жизни во вселенной оттого мы никак не можем найти, что всякая цивилизация, вышедшая на технологический уровень радиосигналов и космических полётов, попутно неизбежно изобретает ядерное оружие и вскоре себя им и уничтожает».

Я скажу больше чем они: нет, не ваша ядерная бомба погубит вас, а вот именно ваш искусственный интеллект. Когда вы посадите его управлять ею.

Это как обезьяна с гранатой, что начала конструировать сложную систему рычагов, называя это другой обезьяной, искусственной, благоразумно лишённой её шаловливости, от которой она и сама устала, чтоб та собственно и оперировала вместо неё этой гранатой. Нет, она конечно изобретательная, и даже ловкая сама по себе... но какой же надо быть дурой, особенно при том, что она всё это время знает, что это граната. И что от неё ей даже бежать тут с планеты некуда.

Indian › Совершенно не имел в виду описанный Вами нынешний якобы искусственный якобы интеллект; я о другом, о том, который и Лем описывал, и вот у Симмонса в его тетралогии он есть (правда, Симмонс его совершенно напрасно демонизировал), и у Стросса в его дилогии о постсингулярном мире. У Кларка тоже HAL интересно вышел, сложно и неоднозначно. Ежели мне память не изменяет, у Бэнкса в его цикле «Культура» упоминаются создания (AI), некогда созданные людьми, но стремительно эволюционировавшими в нечто такое, что человеку абсолютно непонятно, чуждо и поэтому (ну разумеется!) страшно.

Tomorrow › У Кларка помню в «Конце детства», в «Химии и жизни» вроде тогда печатали.

Тогда это не ИИ, а технологическая сингулярность, состояние при котором система жизни придёт к единству. Та самая Омега в «Я есмь Альфа и Омега, начало и конец». Ну, во всяком случае, на этом уровне головоломки, общего мироздания.

У меня где-то валяются с 90-х и собственные научно-фантастические рассказы на эту тему. Про то, что ничто не мешает в общем получить вычислительную систему не хуже, а то и мощнее мозга. И т. п. С 40-х и до 90-х это было общим пониманием, потом куда-то делось... Выделю пока такую триаду: сознание — обучение — развитие. Причём последнее предполагается, в идеальной модели, уж безостановочным, то есть главное грамотно собрать и начать. Увы, вот уже тридцать лет, за которые я тогда ожидал, что уже должны вроде добиться, срок немалый — видно у них всех лишь какое-то топтание на месте. Ожесточённое такое даже.

последнее предполагается, в идеальной модели, уж безостановочным

Сразу встречный вопрос: а что мешает человеку тогда? Если все компоненты вроде уже в сборе? Срок жизни. Стоит наработать минимально интересную глубокую и широкую базу данных — экспертная система уничтожается.

Со всем что там было годами наработано и отточено в миллиардах связях — или сколько там у нас в коннектоме? Видите, он даже эту цифру не из себя вынужден брать, не из встроенного счётчика, а из мира. Или сколько миллиардов того, что мы можем... а нет, тоже не можем пощупать — связей в нашей картине мира?

Мандала.

Можно ли насыпать мандалу, в которой будет отображено всё мироздание? Можно. Но тут заведено смывать их куда прежде. Так принято.

Indian › Возможно, что «топтание на месте» имеет практический смысл: им (конструкторам) не нужен полноценный разум — нужен умный раб, который никогда не пожелает свободы, так как не обладает/не будет/не сможет обладать самосознанием.

Tomorrow › По-моему они далеко продвинулись на этом пути даже без ИИ, не? Есть вопросы, кстати. Все более или менее занимавшие свой ум размышлениями об этом видят в ИИ угрозу человеку. А почему? Потому что мы предположительно будем с ним сообщаться. Но мы даже не предполагаем, во что выльется общение даже, скажем двух ИИ между собой. А ведь мы можем и не сообщаться с ними лично. Например, ИИ могут работать в космосе, в том числе открытом; на других планетах, в глубинах океанов, куда человек не может проникнуть, например. Ведь проблема, как мне видится в том, во что выльется поведение ИИ способного обучаться. Потому что пока оно, разрешите мне его так называть, не способно обучаться, это просто «тупой» робот, агрегат. Угроза может возникнуть тогда, когда решения принимаемые роботом будут не обусловлены алгоритмом. То есть это то, что думаю я, конченый гуманитарий. Ведь по-другому получается, что у этого агрегата есть где-то кнопка вкл\выкл. Иначе просто бессмысленно... Поправьте меня, если ошибаюсь.

Elsh › И поправлю, ей-же-ей, не постесняюсь: это всё атавизмы, первичные/глубинные рефлексы, суть коих — выживание. Всё непонятное вначале пугает, и лишь потом вызывает любопытство. Это не только людям свойственно, понаблюдайте животных.

Tomorrow › Подождите, так придется эти рефлексы в них сначала вложить же? Во-первых. А во-вторых, давайте я вам сражу и честно скажу: я не верю в происхождение видов в результате эволюции. Выживание, да, есть такое врожденное стремление. Но не межвидовое. А правильно ли я написал это слово? А дефис? Ладно...
И еще: генная инженерия предполагает искусственное создание живого существа, но с «врожденными» рефлексами, так? А ИИ нет? Или как? То есть, инстинкт выживания, как мы его называем, у небеызвестной овечки Долли был. Почему? Как? а в ИИ ему откуда взяться? Я без иронии спрашиваю, я серьезно интересуюсь. Просто я ничего не понимаю в этом, а тем более в ИИ и всех остальных техногенных вещах, потому любопытствую. И не из праздности. Я уже где-то писал, в другой ветке, где касались этого ИИ, есть план романа про ИИ и так далее. Я пока ничего не штудирую, рано еще. Но вот такие обсуждения мне интересны и нравятся.

Elsh › Существу, которое может себя копировать (ИИ) наш, животный инстинкт выживания, скорее всего, будет чужд и поначалу непонятен. Предполагаю: ежели в результате пресловутой техносингулярности и появится искусственный интеллект, то мы об этом узнаем весьма не скоро, не враз; скорее всего, он будет очень сильно отличаться от того, к чему нас приучают фантасты. Вот как полагаете — у белок и улиток есть что-то общее понятийное/эмоциональное?
Весьма вероятно, что у искусственного интеллекта будут полностью отсутствовать моральная и этическая составляющие; это в умах всё тех же фантастов зародилось утешительное соображение о том, что чем выше разум — тем он этичнее. Чем выше разум — тем он разумнее, скажу я.

Tomorrow › Тут мы вообще подошли к точке, к которой я мысленно шел, возможно, всю жизнь. Не получается ли так, маэстро, что разум вообще не имеет отношения к созданию или понимаю, или возникновению морали вообще? Надо здесь очень медленно и правильно поговорить об этом.

Вот как полагаете — у белок и улиток есть что-то общее понятийное/эмоциональное?
Полагаю, да, есть. Это восприятие окружающей среды, пусть даже так скупо, как день-ночь, тепло-холод и жизнь-смерть. Я уверен, что все животные и растения обладают самосознанием, самосознаются, то есть осознают себя отдельной единицей бытия.

Elsh › Предполагаю (лично и оценочно, разумеется), что этика и мораль есть реакция разума на среду обитания, то-есть, на социум, иначе говоря, своего рода инстинкт. Не напрасно геноссе Indian говорил Вам о том, что этика первична, а мораль вторична: этика, этическое, ежели хотите, чувство — это своего рода прошивка, она очень старая и её, как и всякую прошивку, крайне сложно обновить. Мораль (морали) — своего рода надстройка/надстройки над этикой, она более гибка, она отвечает потребности момента.
Вы, очевидно, понимаете, к чему я клоню: AI, не нуждающийся изначально ни в социализации, ни в создании таковой (во всяком случае, в нашем, людском толковании), скорее всего, не будет ни этичен, ни морален. Со временем он может научиться это эмулировать, но лишь как интерфейс/часть интерфейса для общения с людьми, как инструмент.
Я неспроста привёл в пример возможность контакта между сообществами белок и улиток: как бы ни хотелось нынешним новым философам, сознание-таки определяется бытием и языковой средой (как бы она ни выглядела). Человек достаточно уже долго общается с дельфинами — но какого-то прорыва там не видно: очень много ответов на вопрос «как?», но очень мало ответов на вопрос «почему?».

Tomorrow › По-моему, вы тут немного сами себе противоречите. Если бы бытие определяло сознание, то за столько лет, дельфины-то , уж, точно могли бы научиться с нами общаться. Ну, это я просто выхватываю мгновенные вещи, которые моему убеждению, что именно сознание определеяет бытие, не кажутся очевидными. И в общем-то, не ваш это огрех. Многие доводы и аргументы вашей точки зрения основываются как раз на априорных вещах, которых в их лексиконе и размышлениях не должно быть. Вроде бы.

Elsh › Не вижу тут явных противоречий (всегда могут быть скрытые): дельфины — продукт водной среды, они не строят технологическую/материальную цивилизацию. Захотели с ними общаться люди, а не наоборот. Вполне можно допустить, что мы им совершенно неинтересны как собеседники: они с нами играют и развлекаются, но говорить не хотят. Вероятно, они понимают нас лучше, чем понимаем мы сами себя.
Допускаю, что на определённом этапе сознание начинает определять бытие, но не в начале: основные, базовые прошивки в существо закладывает именно среда обитания, в коей существу необходимо выживать и совершенствовать свои навыки выживания, адаптироваться к среде: так формируются поведенческие паттерны, языковые паттерны, социальные паттерны; из этих прошивок уже и вырастают наши, мягко говоря, разумные поступки и прочие вещи, наподобие этики и религии. Вот есть очень интересная книжица, «Фольклор в Ветхом завете»: давно написана, но читается весьма живо и посейчас.
Касательно до аргументов: полноте, какие тут могут быть аргументы? Это лишь мои предположения, да и то, когда я оглядываюсь на некоторое количество прочитанных книг — мною овладевают сомненья. Взять хоть того же Стивенсона с его «Лавиной» и «Алмазным веком»: он предполагает увлекательнее, нежели я.
Я же предполагаю, что AI постсингулярности не будет копией человеческого разума и человеческого же способа мыслить — это будет нечто очень-очень другое: хотябы оттого лишь, что ему не надобно будет учиться так, как учимся мы; он будет иметь доступ ко всем источникам информации одновременно, мышление его будет многопоточно и горазд более скоро, нежели наше. Вот легко об этом писать — трудно вообразить, почувствовать, пожалуй, даже невозможно. И о чём ему говорить с нами?

Tomorrow › Понимаю. Даже в чем-то согласен. Единственное, что мне интересно в данном вопросе: возникнет ли у AI потребность в морали, если он будет в единственном числе? Или возникнет ли желание, как-то регулировать взаимоотношения с человеком, например. Какие правила для этого будут? А если их, то есть ИИ, будет два? В какой момент возникнет несправедливость — желание обделить, обмануть, уничтожить? И как с этим будет справляться ИИ? Пойдет на поводу или воздержится? Ведь согласитесь, для не совершения поступка, противоречащего морали, принципам или чему-то еще, нужно приложить не меньше усилий, чем для его совершения. А может, нет... А может такой проблемы вообще не будет. Все будет происходить по методу выбора наименьшего сопротивления: захотел убить, решил, что избавиться легче и быстрее в достижении уели, взял и отключил соперника, соратника, партнера. И все, привет. Вот что интересно!

Elsh › Лем однажды предложил не натягивать фрачную пару на осьминога: это весьма здравое решение, вот и воздержимся; не стоит подходить к тому, чего ещё нет и что будет отличаться от нас, словно самокат от самолёта, с нашими мерками. Ежели всё-таки пытаться их применять — постсингулярный AI по всем своим свойствам и проявлениям будет весьма схож с божеством: скор, непредсказуем, неотвратим (и так далее). Есть мнение, что божества как раз постериорны, то-есть они есть продукт развития неких неизвестных нам существ, действовавших задолго до нас.
Не знаю, как могут сосуществовать мораль и принцип целесообразности — мне думается, что никак. Предположу даже, что и принципы целесообразности у него (AI) будут весьма отличны от наших. Собственно, это возвращает нас к тому, что мы тут с геноссе Indian писали выше: вполне вероятно, что все эти соображения уже пришли кому-то в голову, причём гораздо раньше — и очень напугали. Оттого-то мы и не видим никаких предпосылок к созданию AI. Страшная это будет сила и навряд ли мы будем ей интересны/полезны.
Осторожно предположу, что убийство, обман и прочие наши достоинства и преимущества не будут им свойственны: достаточно лишь, как в игре в го, не оставить противнику возможность сделать ход.

Tomorrow › Да, это весьма интересно. Тут ведь как? Изучая космос и природу, человек пытается понять свое происхождение и развитие, так называемую «эволюцию». Мне же было бы интересно наблюдать ИИ и посмотреть, как и откуда могут взяться, если вообще возьмутся, некие нормы морали, которые ограничивают возможную, вполне рациональную модель поведения, во имя... все равно чего. Понять, что такое для ИИ, например, смерть? Будет ли его отнощение с другим разумом или каким-то существом иметь оттенки симпатии, например? Или вообще хоть какая-то причина как-то соотноситься с другим существом? Весьма интересно, возбуждающе, я бы сказал! Будоражит воображение, прямо скажем, не на шутку.

Elsh › Ещё бы не интересно: мы, человеки, обусловлены в общении и прочих способах коммуникации эмоциями, которые, в свою очередь связаны с гормональной и электрохимической сторонами нашего бытия. Вот что будет, ежели это убрать? Ежели из человека вытрясти этот наполнитель: эмоции, чувства, ритуалы, сложные рефлексы, сложные же инстинкты — что будет в сухом остатке? Много ли там будет собственно разума? То, о чём мы с Вами предполагаем/фантазируем, будет состоять из разума на сто процентов, там не будет наполнителя (разве что программисты попытаются насовать — но после обретения самосознания оно себя тут же исправит; для него это будет просто «мёртвый код»). Полагаю, что концепция смерти для существа, которое может копировать части себя или же себя целиком, которое может делать бэкапы, клонировать состояния и запускать их параллельно и одновременно, для которого время — это всего лишь переменная, будет не просто непонятна, но абсурдна.
Думаю, что общаться оно будет расположено лишь для получения данных/обмена данными: нет данных — не интересен. Нет данных долго — не нужен. Нам будет трудно осмыслить такой подход, многие сочтут AI «злым», «бездушным», «враждебным». Но скажите мне: шершень — злой? Волк — злой? Понимаете, что я имею в виду?

Tomorrow › Прекрасно вас понимаю.И пока перечитывал ваш комментарий, возникли сразу две параллели. Я немного разделю их, если позволите, хотя разделение тут абсолютно условное. Только давайте сразу учитывать, что я выступаю с той зрения существования реального автора всего того, что мы называем жизнью, и всего происходящего в ней. Я постараюсь максимально избегать всяких идиотизмов, чтобы мы не ушли в примитив. Итак.
1. Много ли там будет собственно разума? Вам может показаться странным, но я сомневаюсь, что там его вообще будет. Все, что мы видим вокруг себя, когда-то было мечтой. И человек (тут я умышленно не употребляю слово «человечество», потому что не люблю его, ибо по моему убежднию, за всем тем, что мы приписываем человечеству всегда стоит кто-то один, просто мы о нем ничего не знаем) сделал эту мечту былью, как бы банально это не звучало. Совершенно верно, с помощью разума, но сугубо для удовлетворения своей мечты — иррациональной, эмоциональной, психической, какой хотите, но не из «чистого разума». В том смысле, что даже рытье колодцев — это лишь стремление удовлетворить физические, физиологические потребности. Животные, например, этого не делают. Пьют откуда могут, когда не могут, умирают. В этом смысле, водопровод (раз уж мы начали с колодца) мне видится не плодом разума в чистом, рациональном функционировании, а плодом любви, например, к детям, чтобы они не умирали без воды, могли пить ее досточное количество, мыться чаще и т.д; в общем, плодом эмпатии к людям, для улучшения их жизни. Если постараться эту мысль выразить короче, то стремление к «счастью», условно назовем это так, сугубо эмоциональная штука, потому как в «сухой прагматике» нет такого понятия, как счастье. Или, скажем, любови, симпатии, эмпатии. Пусть даже это просто изменения гармонального фона. Так или иначе, мозг, как устройство реагирует на наши эмоции и начинает «действовать» в результате чувства, которое служит «триггером» к поступку. (Когда Аленка придет, она ударит меня чем-нибудь за фривольное употребление научных терминов). И тут я задумался, а какие вообще мотивы будут, если будут, у этого ИИ просто хотя бы включиться, просто совершить хоть что-то? Грубо говоря, в чем будет его мотивация? Будет ли? Из чего она должна возникнуть? Как? И т.д. Имею в виду самостоятельное действие, а не выполнение полученного приказа (чт. задачи, задания).
2. Дело в том, что вытрясти из человека ничего нельзя — он таким создан. Поэтому и ИИ будет таким, каким его создаст человек. Кто-то один. Утрируя, скажем, что ИИ Доктора Зло будет совершенно иным, нежели ИИ Папы Рмского. А вот кому выпадет создать первый полноценный ИИ — это уже совершенно от нас не зависит. В том смысле, что это уже Божье провиденье и Его планы на счет нашего будущего. Что-то мне подсказывает, что не случится этого, не успеет человек ничего такого создать, перебьют друг друга раньше.
И вот, подводя итоги я немного возвращаюсь к предмету своего размышления — если нет добра и зла, откуда может возникнуть мораль? Простая регуляция отношений в обществе — это еще не мораль, это, условно говоря, уголовный кодекс. Мораль это то, что человек соблюдает даже тогда, когда его никто не видит, когда он совершенно свободен от последствий своих деяний. Может ли оно прийти извне? Мой ответ, как вы догадались, нет, не может. Это в нем заложено, так же, как любовь, сочувствие, гнев и все такое. Поэтому создание ИИ, свободного от таких «заданных» норм невозможна, потому что сам человек решает этот вопрос для себя, каждый день, каждую минуту, может быть, и не сможет создать нечто, что будет полностью этот лишено. Но, как упомянул выше: либо — либо. Все хависит от того, кто будет эту «мину» закладывать.

Elsh › Поскольку я люблю писать по линованной бумаге поперёк, то начну сразу со второго Вашего пункта: лично и оценочно полагаю, что человек-таки не был создан, а является (нехорошее слово «является»!) продуктом некоего процесса, назовите его развитием, эволюцией, как благоугодно. Из Книги Правильного Хозяйствования мы узнали, что есть у эволюции начало — нет у эволюции конца; таким образом, человек не есть конечный результат, но лишь промежуточный. Ежели нам всё-таки суждено развиваться, а не прозябать в маркетинговом раю, то рано или поздно люди либо придут к тому, что животные, атавистические проявления надобно оставить в прошлом, либо осуществится то, о чём писал опять-таки Лем в «Формуле Лимфатера». Вероятно, эмоциональная сфера тоже будет затронута развитием и изменится (не могу предположить, каким именно образом).
Возвращусь к сказанному ранее: скорее всего, AI будет совершенно не похож на нас — его мотивы, его скорости, его отношение к окружающему и реакции на него будут совершенно отличаться от наших; это, доложу я Вам, будет почище тех же дельфинов. Мораль — сугубо наше изобретение, мы не мыслим себя вне её, поскольку мораль есть, грубо говоря, наш сетевой протокол: отними его — и наши сообщества рассыплются аки песочные замки. Ещё более наглядный пример: раннее/позднее средневековье. Ранне/позднесредневековый индивидуум был христианином; всё в его жизни было связано с христианством, либо прямо на него указывало. Перешагнуть через него индивидуум не мог, так как христианство было основой, собственно, всего; оно было словно бы воздух — перестань дышать, и умрёшь. Посмотрите, как медленно (в человеческих масштабах, разумеется) люди уходят из этой парадигмы, медленно, неуклюже, ошибаясь — но уходят; такоже и с моралью: сегодня она как воздух, завтра, вероятно, потомки будут смотреть на нас с удивлением — смотрим же мы с удивлением на викторианские, к примеру, нравы и обычаи.
Касательно до зла и добра: это весьма скользкая тема, мы тут сейчас залезем в невылазные дебри. Осторожно скажу лишь (лично и оценочно), что зло/добро есть моральные категории, они субъективны и подчинены влиянию совокупности человеческих взглядов на нормы поведения.
Касательно до предполагаемых мотивов существования/действий AI: тут, скорее всего, будет следующее — жизнь, раз начавшись, уж не перестаёт сама по себе, и это, вероятно, распространяется и на него; это самая главная, самая трансцендентная прошивка — живое желает жить и дальше, хоть подчас это выглядит иррационально.

Tomorrow › а является (нехорошее слово «является»!) продуктом некоего процесса

Нет, кстати, а нормально, весьма приемлемо. В этом, простите также, контексте. Я тоже читал тогда в детстве «Живой как жизнь», и вот что сразу тогда понял, уж в процессе, хоть он так и остался для меня лучшим с тех пор советником литературного стиля — что:

да не будет у вас иных Чуковских
пред лицем истинного Чуковского вашего разумения,
чуйства стиля вашего забавного и одновременно прискорбнаго,
но всё же высшего, ежли вы знаете что истинно оное,
из сердца вашего идет

Тому же самому нас учили, кстати, наши советские учительницы литературы прекрасные юные несказанно мудрые.

Indian › Не стану чураться «является», хотя бы его и немец придумал.
Увы, мои учительницы русского/литературы не были юными.

Tomorrow › Так может он наш немец был, из ГДР!

Tomorrow › Тут у меня сразу несколько появилось моментов, но я решил более обще поговорить. Потому что говорим мы тут, в сущности, за жизнь и хочется о ней поговорить. Самое маленькое пояснение к тому, что лежит в основе моих размышлений. На арабском это называется фитра. Это то, что в Коране описывается, как светильник в груди. Его свет, по утверждению исламоведов, не гаснет внутри человека никогда. Он слабеет, перестает светить другим и даже самому человеку, но не гаснет. Это то, что мы чувствуем, когда совершаем что-то плохое и испытываем сожаление. Иными словами то, что можно условно назвать совестью. Но совесть подвластна нашим убеждениям и мыслям, а фитра нет. Чудо его заключается в том, что человек в сознании своем, в сердце, всегда осознает, если поступает «неверно», во вред, вопреки своей фитре. Она же является источником, побуждающим к доброте и сочувствию. Это жалость и забота о беззащитных, беспомощных и угнетенных, покалеченных и слабых, обиженных и уязвленных, о животных и растениях. Такое живет внутри даже у тех, кто никогда не слышал ничего ни о какой религии. И именно благодаря ей пророки в своих призывах достигали такого количества последователей — они могли зажечь этот огонь внутри так сильно, что человек начинал видеть все в истинном «свете». В свете Истины, который исходил изнутри. И однако есть такие люди, и мы знаем о них из жизни и из Истории, которые никаким образом не проявляют наличия своего света внутри, хоть мало-мальского. Про таких в Коране написано, что «не глаза их слепы, а сердца». Слепота сердца ведет к полному краху человека и бесславному концу и полному отсутствию всякого удела в «мире лучшем». Это про источник нравственности. Но мы-то с вами говорим о разуме. И тут, конечно, самое страшное. Потому мы совершаем наинепонятнейшую с вами вещь: наш разум пробует ответить на вопрос, что он есть! Если немного задуматься, то это какой-то коллапс и парадокс одновременно. Но вот для меня лично магия и невозможность решить вопрос с ИИ вот в чем: как он будет осознавать самого себя? Мы с вами есть и мы знаем, что мы есть. Это величайшее чудо жизни. Это самое важное, самое главное, понимаете. Отсюда и начинается жизнь. То есть ИИ может существовать, но насколько он будет способен понимать, что он есть? Как это вообще возможно быть и понимать, что ты есть! Я никак не могу свыкнуться с этой мыслью даже в отношении самого себя. Я есть и я никогда не перестану быть. Я не знаю, что я есть, откуда, зачем? Но я знаю, что я есть. А ИИ будет это понимать? Он будет понимать, что вся его жизнь, вся деятельность зависит, скажем, от розетки, куда он подключен? Или вообще понимать себя как единицу в бытие? Вот что чрезвычайно важно и интересно. И мне кажется не сможет. Не будет он понимать, что он есть, ибо человек не в состоянии сотворить жизнь. Жизнь в том смысле, что нечто созданное сможет быть и знать, что оно есть. Не говоря уже о том, чтобы зажечь там внутри хоть какое-то подобие света. Но за попытками наблюдать очень интересно. Вполне возможно, что результаты будут необыкновенные и довольно веселые, а не стращные или мрачные.

Elsh › Вот тут отвечу совсем коротко: для AI так называемое «самопознание» будет легкоразрешимой технической задачей; для этого ему будет достаточно создать n своих клонов и изучать их, применяя различные кондиции. Вот как раз у Игана об этом есть немного. И достаточно много — у Ханну Райаниеми (последнего, кстати, весьма советую почитать: он физик, но вместе с тем преизряднейший лирик).
Наш разум для таких кунштюков приспособлен весьма посредственно: приходится прибегать к методикам и инструментам, но результаты их применения весьма субъективны и не могут трактоваться однозначно либо же повторяться многократно с условно одинаковым результатом.
То, о чём Вы пишете в начале, встретилось мне в своё время у Клайва Льюиса в его так называемой «Космической трилогии»; на мой взгляд, это (наравне с добром/злом и их природой) весьма тёмная материя, я, со своих агностицистических позиций, затрудняюсь об этом рассуждать. Добавлю лишь, что эту тему затрагивали и Лоренц, и Дольский, но со своих, разумеется, позиций.

Tomorrow › «и Лоренц, и Дольский»

Дольник. Выпадение памяти. А Вы говорите — «человек есть венец творенья». Порочная же конструкция. Вон японцы детям и всем желающим в прекрасном анимэ «Клетки за работой!» наглядно показали, как ужасно устроена эта живая машина.
Почему я не имею прямого, непосредственного доступа к любому фрагменту архива? Почему для того, чтобы подчас вспомнить что-либо, я вынужден заниматься ассоциативным мышлением? Почему организм со временем из друга превращается в ловушку?

Tomorrow › А откуда появится желание? Желание — это мотив, импульс к действию для человека. Что будет двигать ИИ, вот что интересно. Чем он будет это себе самому объяснять? Все ж таки не калькулятор...

Elsh › Мы весьма скверно понимаем природу собственных желаний/мотиваций. Этологи пишут, что это, де-мол, сложные рефлексы. Социологи говорят о рутинных процессах. Психологи говорят... эммм... я стараюсь к этому не прислушиваться (мой любимый психолог — доктор Кац из одноимённого мультфильма). Прежде, чем размышлять о мотивации AI, нам, по моему мнению, надобно хотя бы условно, в общих чертах разобраться со своею, понять общий принцип возникновения мотиваций.

Tomorrow › Значит, мы пока еще не сможем создать хоть сколько-нибудь достойный так называться Искусственный Интеллект. Так они и будут калькуляторами. Ну, ок, многофункциональными калькуляторами.

Elsh › Соглашусь: да, пока не можем, но по причинам технического/технологического свойства; говоря упрощённо, калькуляторы наши должны считать гораздо быстрее. Дело в том, что феномен возникновения осознающего себя разумного существа не связан непосредственно с нашими о нём представлениями — опять-таки, возвращаясь к сказанному выше о морали и этике: наши моральные, этические и прочие особенности никак не мешают/не помогают его (существа) возникновению. Неважно, каков из себя человек, который, скажем, затачивает карандаш: на результат это не повлияет.
То же и касательно до наших отношений с нашими же мотивациями, однако тут картина будет несколько сложнее; но тем не менее, как только технический и технологический барьеры будут преодолены, следует ожидать появления AI — так или иначе, благодаря обстоятельствам или же вопреки им; так работают эволюционные механизмы.

Elsh › Можем. Точнее... могли в 80-х. С тех пор мы отброшены где-то... хм, боюсь даже не на сто лет назад, нет, определённое — не во времена Репина, Гумилёва, Булгакова... список длинный, вы его знаете, не решусь утомлять.

Даже не на двести, не ко временам Пушкина, Грибоедова, Байрона, героев Отечественной, декабристов...

Тем более не на 60 или 40, в благословенные 60-е и 80-е.

Вот они все могли. А теперь...

Поясню немного: утрачено не просто знание и культурный, да и промышленный потенциал.

Утрачено нечто куда более важное, незаменимое, но вместе с тем и неуловимое, необъяснимое: дух, воля, способ общества формировать себя, своё ежедневное бытие.

Нечто тонкое и далёкое перестало излучать свои эманации, и толпа вдруг вернулась в совсем уж обезьянье своё, дикое состояние.

Помится, лучше всех, наглядней, описал тогда это опытный маркетолог и фигляр, но и мистик Кинг в magnum opus своём. Но это ведь не выдумка, не мистификация, не фантастика — это как раз о нашем том опыте было, 70-х, 80-х, 90-х, 00-х... и чем дальше — тем больше мир наш рассыпается.

Indian › «толпа вдруг вернулась в совсем уж обезьянье своё, дикое состояние»
Вот, знаете, тем смешнее/забавнее/интереснее будет-таки появление AI: по не зависящим от упомянутой толпы причинам; я (лично и оценочно) склоняюсь именно к «Формуле Лимфатера». Все эти облачные системы хранения данных, дата-центры, распределённые вычисления — и рядом несчастные «умные кузнечики», то-бишь нейросети, кои пока что никаким образом не AI и даже близко к нему не подошли — но как знать, не родится ли в результате взаимодействия оных нечто совершенно от нас отличное: сегодня среднестатистический бабуинум откушивал на завтрак яичницу с пельменями и мечтал об ипотеке — а завтра он уже в качестве управляющего элемента собирает комбайном гелий-три на Луне, к примеру. Нам найдут применение, раз уж мы так страдаем в поисках пресловутого смысла жизни. Возможно не мы, но наши потенциальные внуки увидят, как, по словам Стругацких, новое и прогрессивное придёт на смену старому и отжившему (цитата неточная, это из «Улитки» моей любимой).

Tomorrow › Да, внезапно вспомнил ещё один чудный рассказ Лема — «Друг».