FIBM: Это совсем другое дело по сравнению с «коллективным письмом».
Ну конечно, другое. Научная статья адресована коллегам-специалистам, а "коллективные письма" - вообще всем, а прежде всего политикам. Они не могут быть написаны научным и даже научно-популярным языком, потому что должны быть общепонятны.
На этом я думаю можно поставить точку в обсуждении, именно, «коллективного письма». Я считаю, что польза от таких писем -нулевая, а скорее всего еще и определенный вред. А вот польза от статьи, если эту статью еще и перевести на язык «обывателя», может быть значительной.
П.С. К политикам обращаться бесполезно, так как все предложенные в статье методы лечения опасностей это методы, которые политики не понимают и убеждены, что опять эти умники предлагают какую-то «заумную хрень».
Michael_S: О.к. уточним формулировку: "а с теоретической возможности с помощ;ю продвинутого ИИ манипулировать". И заметим от себя: без точных представлений намеревающегося о конечных результатах манипуляции, особенно о широкомасштабных конечных результатах
это примерно дословное определение того, что делают с помощью графических редакторов и нейросетей. и?
Evgeny Gleizerov: Эволюция также неразумна и не имеет никакой цели
"эволюция" - это человеческое обобщение для очень большого набора (связанных) факторов, которые в каждом конкретном случае безусловно _имеют_ цель, и цель эта - именно удовлетворение _потребностей_. базовых потребностей конкретных организмов, без которых не происходит либо сама их жизнедеятельность, либо успешный отбор. и результат эволюции по определению не может выглядеть "неразумно", потому что само ваше представление о "разумности" неизбежно включает необходимость выжить и удовлетворить потребности. сама "разумность" является частью эволюции, и ее довольно эффективным _методом_.
логические автоматы какой угодно мощности и как угодно устроенные к этому не имеют вообще никакого отношения, и не могут иметь.
Evgeny Gleizerov: This theoretical result is being experimentally demonstrated in large scale by the so called contemporary "chatGPT jailbreaks", where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety.
Это о современных, уже существующих ИИ - при том, что никто не понимает, какого прогресса они смогут добиться уже в самое ближайшее время. Сcылку на масштабы прогресса буквально в течение нескольких последних месяцев я тут давал.
это о современном, уже существующем чатботе. которому его создатели пытались запретить выдавать людям некоторые сведения, и который люди научились из него получать (чаще всего, его рецепты наркотиков примерно так же "точны", как и все остальное; но да, он знает как сделать бомбу из скороварки, вот ведь ужас). поэтому на русский суть жалобы переводится как "давайте запретим интренет, а то дети там найдут пиписьки, а террористы - рецепт бомбы".
представляете, какой ужос открывался из 1990, если только представить себе, что все эти безработные бездельники разом получат возможность скачивать из интернета чертеж атомной бомбы? экзистенциальная угроза, не иначе. вымрем.
Cube2: ChatGPT, к которому в процессе подготовки дела обратился адвокат истца, юрист с 30-летним стажем, ВЫДУМАЛ всё. Где-то вообще придумал несуществующие имена и иски, где-то по искам, совершенно не относящимся к делу, выдумал детали
.
Как утверждает адвокат истца, он даже переспросил у ChatGPT, реальны ли все случаи. Chat ответил ̶н̶и̶к̶о̶г̶да! Но его разоблачили.
а вот и реальный уровень угрозы, которая да, пришла и постучалась в наши двери. она называется идиоты, решившие, что стали богами с чатботиком. тут, на самом деле, нечего даже и обсуждать - просто вот этот вот юрист должен теперь оплатить все последствия того, что подписался под мнением бота, не проверив его. надеюсь, за 30 лет службы скопил; но что тут и как предполагается лечить, я в упор не понимаю.
AI-controlled US military drone ‘kills’ its operator in simulated test.
Ответственные лица путаются в показаниях, но в таких случаях скорее было, чем не было. Собственно, "highly unexpected strategies" - это и есть то, о чём в один голос сообщают и предупреждают разработчики.
Michael_S: Не знаю, правы ли подписанты относительно опасности, но предлагаемые ими контрмеры в лучшем случае наивны. Пытаются сохранить иллюзию контроля над ситуацией.
Да, вот об этом многие говорят.
Говорят. Уильям Тенн например. В 1951 году. Рассказ называется "Will You Walk a Little Faster?". В переводе Жужунавы "Не могли бы вы чуточку поторопиться?"
VicS: А что значит консенсус в данном контексте?
«Все согласны»? «Все, кто высказался, согласны»? «Все, кого прочитал EG, согласны»?
А то ведь бывает, к примеру, «консенсус-прогноз курса валют на …». Так там, кажется, какое-то усреднение.
Michael_S: Говорят. Уильям Тенн например. В 1951 году. Рассказ называется "Will You Walk a Little Faster?". В переводе Жужунавы "Не могли бы вы чуточку поторопиться?"
А ещё "Don't Look Up" вспоминается. Я, конечно, не смотрел, но знаю, о чём это.
Предупреждать нужно прежде всего предупреждающих :)))
Именно они, заявляя о невиданном прогрессе так называемого ИИ, убеждают политиков с генералами в том, что они имеют дело с чем-то принципиально бОльшим, чем продвинутая система автоматического управления.
А что нового в том, что любую АСУ нужно тестировать и получать ожидаемый результат с тем большей точностью, чем больше возлагаемая на нее ответственность?
Безответственность и даже злонамеренность властей - вот настоящая опасность. Кто сейчас может быть уверен, что всеми соблюдается конвенция о биологическом оружии, например.
Человеческая безответственность и злонамеренность - это та константа, из которой нужно исходить в любой ситуации. Конечно, бывают и ответственные и благонамеренные люди и даже власти - но рассчитывать на такую пруху было бы именно безответственно.
Я имею в виду, что всегда надо исходить из человеческой злонамеренности по умолчанию. Вот близкий мне пример: античитерский контроль. Тут мы должны исходить, во-первых, из-того, что всякий игрок - потенциальный читер, а во-вторых, из того, что всякое контролирующее лицо или организация потенциально стремится к произволу, ложным обвинениям и незаконным оправданиям. Понятно, что это не так, но правила должны быть устроены, исходя из того, что это так.
И так во всём прочем - и правосудие на этом стоит, и конституции, и всё остальное.
И правосудие, и конституция, и античитерский контроль, и все подобное стоит на доброй воле. Да, она всегда трактуется по-разному. Но именно на ней.
Впрочем, ИИ этому не научить :))
Ну конечно же, нет. Всякая нормальная конституция представляет собой список ограничений для властей, то есть исходит из их злонамеренности - а иначе зачем нужны эти подробные ограничения? То же и знаменитая "система сдержек и противовесов" - разве нужно сдерживать добронамеренные и ответственные ветви власти, то есть мешать им творить добро? То же и требования к доказательности, применямые судами, классическое, известное со времён Хаммурапи и даже ранее требование минимум двух независимых свидетелей (потому что каждый отдельно взятый свидетель по умолчанию врёт, если нет подтверждений иному) и т. д.
Evgeny Gleizerov:AI-controlled US military drone ‘kills’ its operator in simulated test.
Ответственные лица путаются в показаниях, но в таких случаях скорее было, чем не было. Собственно, "highly unexpected strategies" - это и есть то, о чём в один голос сообщают и предупреждают разработчики.
А, вы не знали? Ну да, так и есть, просто это, как правило, делается в форме "белого списка" - то есть списка компетенций того или иного института власти. Всё, что не разрешено конституцией прямо, этому институту запрещено, не входит в его компетенцию.
Вот у самодержавного монарха такого списка нет, его компетенция ничем не ограничена. А где конституция, хотя бы и такая "куцая", как в Российской Империи её последнего десятилетия, там и ограничения.
Мы, народ Соединенных Штатов, с целью образовать более
совершенный Союз, установить правосудие, гарантировать внутреннее
спокойствие, обеспечить совместную оборону, содействовать
всеобщему благоденствию и закрепить блага свободы за нами и
потомством нашим провозглашаем и устанавливаем настоящую
Конституцию для Соединенных Штатов Америки.
Мы, многонациональный народ Российской Федерации, соединенные общей судьбой на своей земле, утверждая права и свободы человека, гражданский мир и согласие, сохраняя исторически сложившееся государственное единство, исходя из общепризнанных принципов равноправия и самоопределения народов, чтя память предков, передавших нам любовь и уважение к Отечеству, веру в добро и справедливость, возрождая суверенную государственность России и утверждая незыблемость ее демократической основы, стремясь обеспечить благополучие и процветание России, исходя из ответственности за свою Родину перед нынешним и будущими поколениями, сознавая себя частью мирового сообщества, принимаем КОНСТИТУЦИЮ РОССИЙСКОЙ ФЕДЕРАЦИИ.
Во имя Всемогущего Бога!
Швейцарский народ и кантоны,
чувствуя ответственность перед Творением,
стремясь обновить Союз, чтобы упрочить свободу и демократию, независимость и мир в духе
солидарности и открытости миру,
проявляя волю жить, взаимно учитывая и уважая их многообразие в единстве,
в осознании совместных достижений и ответственности перед будущими поколениями,
будучи уверены, что свободен лишь тот, кто использует свою свободу, и что сила народа
измеряется благом слабых,
дают себе следующую Конституцию:
Минимальное понимание. Если не духа, то хотя бы текста
Это всё блаблабла. А вот закрытый список полномочий - это не блаблабла.
Конституция США обеспечивает систему сдержек и противовесов, наделяя каждую из этих трех ветвей определёнными полномочиями таким образом, чтобы ни одна из них не могла получить чрезмерную бесконтрольную власть.
В этом, и только в этом, смысл любой настоящей конституции. Люди по умолчанию злы, власть по умолчанию стремится установить диктатуру - только такой подход даёт некоторые шансы умерить зло и предотвратить диктатуру. И всё это такие азы, что мне даже неловко их повторять.
Evgeny Gleizerov: Люди по умолчанию злы, власть по умолчанию стремится установить диктатуру - только такой подход даёт некоторые шансы умерить зло и предотвратить диктатуру. И всё это такие азы, что мне даже неловко их повторять.
Всякая настоящая, а не бутафорская конституция содержит нормы прямого действия, то есть такие, которые являются нормативной основой правоприменения, наряду с прочими законами. Вот это - не блаблабла. Но, кроме того, большинство конституций содержит преамбулу, которая нормативной основой правоприменения не является и не должна являться. Вот это - блаблабла.
Мне когда-то, еще в российском институте, на семинаре по философии преподаватель задал вопрос: добры ли люди по своей природе или злы? Я, конечно, не колеблясь ответил, что люди по своей природе злы. Он с этим ответом не согласился. Я пояснил, что такой ответ не совсем точно отображает реальность, но все-таки он отображает ее намного лучше, чем ответ противоположный. Представление, что люди по своей природе добры, вообще находится с реальностью в вопиющем противоречии. И тут он доказал, что не зря изучал истмат и диамат. Он сказал, что этот вопрос надо решать не с помощью формальной логики, а с помощью логики диалектической. Только она сможет отобразить реальность во всей ее полноте. И ведь был, возможно, прав, собака. Как сказал бы ЛБ: диалектика - это страшная сила.
