Нейросеть GPT-4

Fakir> Когда-то давно даже попадалось нечто подобное в журналах 80-х, что ли. Такой довольно впечатляющий трёхмерный график параметров "обрабатывающих информацию" систем, и мозг там находился буквально на границе. Откуда такое - я не понял.

Я наткнулся на это со своей стороны. Делал прикидки скорости, с которой мозг обрабатывает информацию в моменты максимальной алёртности (ну например, когда его физическое вместилище начинают убивать), и при сравнении со скоростью распространения сигналов по нервам, приводит к странным оценкам.

Мозг обрабатывает информацию быстрее, чем физически может. Т.е. там какие-то скрытые костыли и хаки, и в любом случае — это на техническом пределе.

Sandro> Получил ответ в стиле "какие провалы в памяти?"
Sandro> Натурально, как из того анекдота.
? Так это ж система "вопрос-ответ", как и все генеративные БЯМ. Ты ж туда сам память сессии не прикручивал ведь перед запуском?

Её и нет тогда.

З.Ы.
Просто для ясности: её и у ЧатГПТ нет, она "снаружи" прикручивается. При каждом новом запросе вся сессия читается из ДБ и подаётся "чистой" БЯМ на вход как промпт. Сама БЯМ, НЯП, глобально стейтлесс, состояние есть только в пределах генерации ответа на запрос.

Татарин> Да, для создания кода нужна несколько иная архитектура. То, что у ЧатГПТ вообще получается как-то писать код на уровне типичных джуниоров (с кучей поблажек им), и это просто как результат глубины обучения - это чудо. Именно чудо, нечто неожиданное и интересное.

Я хотел написать длинный ответ. Но после этой фразы понял, что надо писать короче.

Да, это чудо. Но того ли рода это чудо?

Я помню историю появления бота Gladiator. Кто не знает, это бот для многопользовательской игры в Quake. Он очень достойно борется с живыми игроками, и, как правило, их одолевает.

Реверс кода бота показал невероятное: ОН СЛЕП. У бота нет системы зрения вообще. Единственное, он пользуется функцией проверки линии выстрела, но это всё.

Бот совершенно хакерскими трюками размечает карту, запоминает, что где и т.д.

И вот есть у меня нехорошее подозрение, что решения сетки построены на таких же хаках и это может выйти боком.

Собственно, сбития пешеходов Теслой на это уже намекают.

Татарин> ? Так это ж система "вопрос-ответ", как и все генеративные БЯМ. Ты ж туда сам память сессии не прикручивал ведь перед запуском?

А как она тогда корректирует предыдущий ответ?

Татарин>> ? Так это ж система "вопрос-ответ", как и все генеративные БЯМ. Ты ж туда сам память сессии не прикручивал ведь перед запуском?
Sandro> А как она тогда корректирует предыдущий ответ?
А для неё нет "предыдущего".
Там внешняя БД, которая запоминает диалог. И при каждом новом запросе подаёт БЯМ на вход весь прошлый диалог, как промпт для этого запроса.

То есть, то же самое, как если б ты сам скопировал этот диалог в качестве текста, и потом первым сообщением в новой сессии закопипастил бы его с новым вопросом.

Ну, я не знаю, как ТОЧНО эти реплики в промпте внутри размечаются конкретно в ЧатГПТ и как нужно разметить текст, чтобы она не отличила его от той разметки, которую ей внешняя часть с ДБ делает... но принципиально это так.
В некотором смысле она сильно проще, чем ты думаешь.

Для неё есть только текущий запрос. Просто с каждым твоим вопросом и её ответом он всё более удлинняется.

Татарин> Там внешняя БД, которая запоминает диалог. И при каждом новом запросе подаёт его БЯМ на вход весь прошлый диалог, как промпт для этого запроса.

Эээ а в чём тут отличие? Память — она и есть память. И вообще, ты вон тогда написал, что сеть не должна помнить, что я её сказал, а теперь — что должна. Уж определись как-нибудь

Татарин> В некотором смысле она сильно проще, чем ты думаешь.

Месье телепат?

Sandro> И вот есть у меня нехорошее подозрение, что решения сетки построены на таких же хаках и это может выйти боком.
Поиграй с ней побольше. Ты поймёшь, что на все случаи хаков не напасёшься.
Да, она косячит и тупит, но она САМА косячит и тупит: ей глубины не хватает. Ну, будет ещё.

Ну и наверняка обучения.
В конце-то концов, в мире написано столько кода, что какие-то аналоги 99.9999% того, что тебе нужно написать уже написано, а оставшееся - почти наверняка составляет вариации, посильные нейросети.

Sandro> Собственно, сбития пешеходов Теслой на это уже намекают.
А на что намекают сбития пешеходов человеком?

Понимаешь, в абсолютном большинстве применений нейросетей не нужно решать задачи идеально. Нам нужно решать их гораздо лучше, чем средний решающий те же задачи человек. Это не очень высокая планка.

Татарин>> Там внешняя БД, которая запоминает диалог.
Sandro> Эээ а в чём тут отличие? Память — она и есть память.
Эээ... ты всерьёз не видишь различия?! Ну, тогда я даже не знаю, о чём тут говорить.

Sandro>И вообще, ты вон тогда написал, что сеть не должна помнить, что я её сказал,
Где я говорю, что она что-то "должна"?
Я говорю, как оно устроено.

Хочешь, чтобы она "помнила" диалог - подавай ей весь прошлый диалог на вход как промпт.

Татарин>> В некотором смысле она сильно проще, чем ты думаешь.
Sandro> Месье телепат?
Нет. Просто чтец.

Ну, если ты, конечно, хитро пишешь тут не то, что ты думаешь, тогда, конечно, разница радикальна. Но зачем?

Татарин> Хочешь, чтобы она "помнила" диалог - подавай ей весь прошлый диалог на вход как промпт.

Стоп. Я говорю не вообще, а про конкретное изделие, с которым я общался онлайн. И оно то помнит историю диалога, то тупит в стиле "иде я нахожуся?".
Причём тут я? Это авторы сего конструкта пусть подают всю предысторию на вход!

Татарин> Татарин>> В некотором смысле она сильно проще, чем ты думаешь.
Sandro>> Месье телепат?
Татарин> Нет. Просто чтец.

Так я и пишу, что это простая по своей сути вещь, и не надо ей божественные способности приписывать. Ты против?

Татарин> Ну, если ты, конечно, хитро пишешь тут не то, что ты думаешь, тогда, конечно, разница радикальна. Но зачем?

Я пишу именно то, что думаю. Не надо тут за мной придумывать какие-то хитрые смыслы и третьи слои логики.

Sandro> Стоп. Я говорю не вообще, а про конкретное изделие, с которым я общался онлайн. И оно то помнит историю диалога, то тупит в стиле "иде я нахожуся?".
Так. Я реально сбился. Ты на ЧатГПТ жалуешься насчёт памяти или на какую-то другую БЯМ?

Вещь это относительно простая по идее. Но количечтво нейронов даёт ей новые качества. Пока не "божественные". Но для многих задач уровня человека она достигла, и - вполне очевидно - может и перерасти.
А может, и для других.
А может, и для всех.

Sandro>> Стоп. Я говорю не вообще, а про конкретное изделие, с которым я общался онлайн. И оно то помнит историю диалога, то тупит в стиле "иде я нахожуся?".
Татарин> Так. Я реально сбился. Ты на ЧатГПТ жалуешься насчёт памяти или на какую-то другую БЯМ?

В ChatGPT я забанен, как гражданин государства, объявленного враждебным.

Sandro> Raven RWKV 7B - a Hugging Face Space by BlinkDL
Не, этот сайт, вроде, сессии не имеет.

В любом случае, это не свойство БЯМ. Это снаружи приделывается.

Evgenij> В ходе симуляции с искусственным интеллектом в США дрон виртуально уничтожил собственного оператора

Пропущено интересное!!!

В симуляции дрон учили убивать ПВО. И ИИ за это получал очки.
И когда однажды оператор приказал не убивать ПВО, дрон убил оператора, чтоб не мешал!
Тогда ИИ обучили, что оператора убивать нехорошо.
Но очков-то хочется!
Поэтому дрон убил вышку связи, через которую оператор ему командовал.
Путаются тут, проклятые кожаные мешки!!!

Xan> Тогда ИИ обучили, что оператора убивать нехорошо.
Xan> Но очков-то хочется!
Если целевая функция задана как максимум очков, то чего ещё ожидать?

Машина делает не то, что ты хочешь, а то, что ты ей скажешь.

Evgenij>>
Xan> Пропущено интересное!!!

Шо всё это косноязычность хенерала/бред переводчика/креатифф анал итиков ИИ?

И не в лотерею а в преферанс...

Цытатка:

Все как в анекдоте "не в лотерею, а в карты и не выиграл, а проиграл".

В оригинальной большой статье, из которой The Guardian взял кусочек и который затем ради хайпа переврали все подряд, даже вставили поправку:

UPDATE 2/6/23 - in communication with AEROSPACE - Col Hamilton admits he "mis-spoke" in his presentation at the Royal Aeronautical Society FCAS Summit and the 'rogue AI drone simulation' was a hypothetical "thought experiment" from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: "We've never run that experiment, nor would we need to in order to realise that this is a plausible outcome". He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says "Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI".

parex12> На вопрос "кто изобрел радио?" на русском и английском выдало два сильно разных ответа. Получается там не переводчик, а тренированные на разных данных модели?
Модель одна. Просто она отвечает на разные вопросы.

Это для тебя по-русски и по-английски смысл тот же, а для неё - это разный набор токенов в промпте, продолжать который нужно по-разному.

Татарин> Это для тебя по-русски и по-английски смысл тот же, а для неё - это разный набор токенов в промпте, продолжать который нужно по-разному.

Т.е. смысл вопроса оно и не пыталось понять. Тогда откуда все эти петиции про "остановите Скайнет"?

Татарин>> Это для тебя по-русски и по-английски смысл тот же, а для неё - это разный набор токенов в промпте, продолжать который нужно по-разному.
parex12> Т.е. смысл вопроса оно и не пыталось понять. Тогда откуда все эти петиции про "остановите Скайнет"?
Что такое "смысл" и что такое "понять"?
Я не уверен, что Вы сможете ответить так, чтобы оно не подходило к машине и одновременно хотя бы люди этому бы соотвествовали.

Смысл оно "поняло" - паттерн выцепила, знает, как отвечать на вопрос, заданный русским, так, чтобы русский был доволен.

...
Петиции оттого, что оно, сцуко, научилось ловить и повторять неожиданно глубокие паттерны и схемы. Выдавая ответы лучше или, как минимум, неотличимо от 99% возможных ответов 99% людей.
Отсюда вопрос: а что будет, если следующее поколение подобных штук обретёт рефлексию и достаточно глубины анализа, чтобы выцепить и применить паттерн осознания себя? и соотнесёт то, что делает выводы с внешним миром (что человеческие дети получают в 4-5 лет)? Получив при этом иное целеполагание, в интересах "себя"?

Татарин> Отсюда вопрос: а что будет, если следующее поколение подобных штук обретёт рефлексию и достаточно глубины анализа, чтобы выцепить и применить паттерн осознания себя?

Ну если это поисковик на стероидах,то чем ему себя осознавать?
Не понимаю, почему тренировочные данные не переводили на один язык. А потом ответы на язык вопрошающего.

Татарин>> Отсюда вопрос: а что будет, если следующее поколение подобных штук обретёт рефлексию и достаточно глубины анализа, чтобы выцепить и применить паттерн осознания себя?
parex12> Ну если это поисковик на стероидах,то чем ему себя осознавать?
Это вообще не поисковик, даже не представляю, с чего Вы это взяли. Это языковая модель, которая связывает слова со словами, запоминая контексты и условия их применения. Очень глубокие и очень сложные контексты и условия.
То есть, делает со словами то же, что и человек, только без привязки пока к видео, звуковым или там обонятельным образам.

А так-то осознавать ей себя незачем.
Такая потребность (в рефлексии) может появиться при реализации рассуждений (и требуемого для них самоанализа - когда нейросетка будет рассматривать и пересматривать свои ответы и причины для того или иного выбора в них).
Возможно, что "нормальный" ИИ высокого качества без этого качества нереализуем, а значит, кто-то неизбежно будет пробовать создать такую внутреннюю подсистему самоанализа.

Как верно заметил выше Факир, сейчас все нейросети, включая БЯМ, - просто гигантский ком чистой интуиции (а ещё инстинктов и условных рефлексов). При любой самой безумной глубине системы, этого может быть недостаточно для работы и полноценного взаимодействия с внешним миром.


parex12> Не понимаю, почему тренировочные данные не переводили на один язык. А потом ответы на язык вопрошающего.
А не обучали так потому, что это глупо: масса работы, чтобы сильно ухудшить результат. В имеющемся виде получили не только понимание отличий разных культур, но и переводчика сверху. Переводчика, качество работы которого было совершенно недостижимо ранее.
Именно потому, что для его работы требовалось глубокое понимание контекста и смысла переводимых слов. И вот теперь оно - это глубокое понимание - у машины есть. А будет - с ростом сети - ещё глубже.

Татарин> А не обучали так потому, что это глупо: масса работы, чтобы сильно ухудшить результат. В имеющемся виде получили не только понимание отличий разных культур, но и переводчика сверху. Переводчика, качество работы которого было совершенно недостижимо ранее.

Спасибо за ответы, интересно. Но хотелось бы, чтоб у переводчика исторические факты были одинаковы на всех языках.