Нейросеть GPT-4

parex12> Но хотелось бы, чтоб у переводчика исторические факты были одинаковы на всех языках.

"История может быть написана с разных точек зрения при полном сохранении достоверности" © Макс фон Лауэ

Sandro> Бот совершенно хакерскими трюками размечает карту, запоминает, что где и т.д.

А где про него почитать/посмотреть?

Sandro> И вот есть у меня нехорошее подозрение, что решения сетки построены на таких же хаках и это может выйти боком.

Да, хаков полно. Нужно помнить, что трансформеры как архитектура изначально появились для задач машинного перевода. И действуют они по сути своей на клише.



Вот взять сексизм, например. Человек легко поймёт, что медсестрой может быть женщина, и что Кевин в таком случае медбрат или санитар. Но, если в случае со словом nurse человек будет ВСЕГДА говорить, как будто имеется ввиду женщина, он будет почти всегда прав!
Всё равно 95% текстов про nurse - это по сути тексты про женщин...

P.S. Если в программах-переводчиках переводить такие тексты, то будут переводы типа таких:
"Кевин - мой друг. Моя подруга работает молодой медсестрой."© Яндекс-переводчик.

Sandro> А как она тогда корректирует предыдущий ответ?

Никак. У этой штуки нет разницы твой-свой ответ, и вообще понятия "ответ".



В нейронку загружается промпт (первоначальный кусок текста), и нейронка выдаёт распределение вероятности для каждого слова (токена) в своём словаре.

Затем с некоторой рандомностью из того распределения вероятности выбирается одно слово (типа берётся 1 случайное слово из 50 наиболее вероятных слов).

Затем этот процесс повторяется, только в качестве промпта теперь старый промпт + одно ранее выбранное слово.

И так идёт до того, пока не будет выбрано стоп-слово. Тогда процесс прекратится.

У чат-ботов обычно есть и специальные слова типа /начало реплики пользователя/, /конец реплики пользователя/, /начало реплики бота/ и т.п..

Вот например пример промпта для OpenAssistant с их страницы на Hugging Face:

<|prompter|>What is a meme, and what's the history behind this word?<|endoftext|><|assistant|>

Т.е. нейронка тут просто строчку текста выдаёт. А уже потом с помощью регулярных выражений эта строчка текста будет разбита на красивый интерфейс.

Никакой памяти тут нет. Периодически процесс генерации текста останавливается стоп-словом, затем тебе дают возможность ввести своё слово, затем автоматически к твоему тексту прибавляют специальное слово "конец реплики пользователя" "начало ответа чат-бота" и всё так и идёт по кругу.

И на КАЖДОМ этапе система перерабатывает ВЕСЬ диалог целиком.

Опять же, это как переводчик, только вместо перевода текста на другой язык он принимает истории диалога, выдавая наиболее вероятный ответ. И так каждый раз.

Sandro> Эээ а в чём тут отличие? Память — она и есть память. И вообще, ты вон тогда написал, что сеть не должна помнить, что я её сказал, а теперь — что должна. Уж определись как-нибудь

Сама сеть ничего не помнит. Татарин же написал, внешняя БД. Своей памяти, каких-то внутренних состояний, в сетке нет.

parex12> Т.е. смысл вопроса оно и не пыталось понять. Тогда откуда все эти петиции про "остановите Скайнет"?

Из дибилизма и пустого хайпа.

Татарин> Петиции оттого, что оно, сцуко, научилось ловить и повторять неожиданно глубокие паттерны и схемы. Выдавая ответы лучше или, как минимум, неотличимо от 99% возможных ответов 99% людей.

В одном из учебников по программированию я находил программу для игры в крестики-нолики, которая захватывала все наиглубочайшие паттерны в этой игре. Не просто лучше людей, а настолько хорошо, насколько это принципиально возможно.

АЛЯРМ! Давайте подписывать петиции...

parex12> Не понимаю, почему тренировочные данные не переводили на один язык. А потом ответы на язык вопрошающего.

Понимаешь, неважно переводили ли тренировочные данные или нет.

Важно то, что английский текст и русский текст имеют ПРИНЦИПИАЛЬНО разные математические представления.

Ещё важный момент - тренировка сети идёт в 2 этапа. На ОГРОМНЫХ массивах текста, где нейронку натаскивают на генерации потенциального следующего слова (первый этап), и на относительно маленьких наборах "хороших" диалогов (второй этап).

А в англоязычных текстах про изобретение радио больше говорят в контексте Маркони, а в русскоязычных текстах больше в контексте Попова. И это отражается в сети ещё на первом этапе обучения...

Татарин>> Петиции оттого, что оно, сцуко, научилось ловить и повторять неожиданно глубокие паттерны и схемы. Выдавая ответы лучше или, как минимум, неотличимо от 99% возможных ответов 99% людей.
В.с.с.О.> В одном из учебников по программированию я находил программу для игры в крестики-нолики, которая захватывала все наиглубочайшие паттерны в этой игре. Не просто лучше людей, а настолько хорошо, насколько это принципиально возможно.
А ты так стараешься не видеть, в чём разница?

Фишка в том, как ты понимаешь, что между нейросетью и той программой лежала пропасть принципиально разных принципов работы. А между нашим мозгом и нейросетью такой пропасти нет, есть некоторые отличия.

И сильно более того.
Настолько глубокая связь слов со словами даёт не просто возможность распологать их в правильном порядке. Она даёт возможность определить смысл слова точно так же, как его определяет человек - через связь с другими словами, правильный контекст употребления, нюансы этих аспектов.
И далее, на более глубоком уровне - более сложные понятия из нескольких слов, из системы слов, из системы систем слов (в которой каждое отдельное слово или набор могут быть заменены).

Ты можешь заставить GPT пересказать тот же смысл другими словами, в выбраном тобой духе, в другом контексте применения или для другого восприятия.
Это показывает, что там, внутри, кроме неонки, есть, сидит, готово к применению ещё и реальное понимание.

...
То есть, да - сейчас такая семантическая сеть (связь понятий с понятиями) используется просто - как говорилка, простая генерация текста. Это круто (с учётом того, ЧТО народилось у неё под капотом с увеличением модели), но это же никак не всё.
Это просто один из вариантов использования. Ты своё понимание что такое "машина" тоже можешь использовать только для проговаривания этого, но это куда более мощная штука. Да, чтобы использовать это иначе, нужна ещё ещё части сети.

Но само формирование такой семантической сети (причём, самым натуральным образом - из корпуса имеющихся текстов на естественном языке) - это прорыв.
Не, не так.
ПРОРЫВ.

...
И собссно, на чём основывается ваш оптимизм, я не понимаю. С чего вы взяли, что дальше возникнет какое-то препятствие с системой, использующей эту сеть для формирования решений, когда даже вот эта говорилка худо-бедно уже может делать подобное?
Мы уже видим появление эмерджентных свойств сети, чисто за счёт глубины модели. Уже же видно, как это может быть - ты не ждал, а оно случилось. Само.
Люди вообще очень плохо понимают эмерджентные процессы и не умеют работатьс ними. См. массу работ по т.н. самоорганизации - какими-нить там конвекционными ячейками Бернара: масса работ, но нет практически исследований, которые бы говорили, как такие штуки искать и предсказывать в других системах. Так та же конвекция - примитивная же система, из десятка (значимых) дифуров в системе, десятки свободных параметров как максимум.
А тут лепят модель с миллиардами-триллионами свободных параметров и... надеются избежать других внезапных её свойств? удержать это под контролем? как-то понять (в полном смысле слова - с предсказанием поведения в деталях), что там происходит?
Да этого с простой-то нейросеткой не выходит, запаришься дебажить, почти всегда проще обучить заново, чем понять "почему", да и изменение обучения происходит методом ненаучного тыка и проверки смутных догадок. Так тут-то - блин, куда?

Мы трогаем вещи, которые в самом буквальном смысле выше нашего понимания.
"Absolutely safe!"©?
Не понимаю вас.

Татарин>>> Петиции оттого, что оно, сцуко, научилось ловить и повторять неожиданно глубокие паттерны и схемы. Выдавая ответы лучше или, как минимум, неотличимо от 99% возможных ответов 99% людей.
В.с.с.О.>> В одном из учебников по программированию я находил программу для игры в крестики-нолики, которая захватывала все наиглубочайшие паттерны в этой игре. Не просто лучше людей, а настолько хорошо, насколько это принципиально возможно.

Татарин> А ты так стараешься не видеть, в чём разница?

А разница в том, что человек и машина работают на разных, так сказать уровнях. И из эффективности программы в узкой задачи игры в крестики-нолики не следует её применимость в других задачах или что с её помощью можно собрать "цифрового человека" или типа того.

И попытки "экстраполировать" какое-то "понимание" или "неоткрытые возможности" с нейросетью также бессмысленны, как говорить, что набитая эвристиками программа для игры в "стратегические игры" типа шахмат или го имеет тоже самое "понимание" тактики и стратегии, или "имеет цели стать лучшим игроком".

Здесь же принципиально система "угадай следующее слово для данного текста", и не более, зафайнтюненная под клишированные ответы клишированного же политкорректненького и гендерно-прогрессивного галлюцинирующего чатбота-пацифиста под систему корпоративных ценностей.
Всё-таки такие системы глубоко схожи с Элизой, которая по сути была системой для поддакивания пациенту и переиначиванию его же вопросов...

Татарин> Фишка в том, как ты понимаешь, что между нейросетью и той программой лежала пропасть принципиально разных принципов работы. А между нашим мозгом и нейросетью такой пропасти нет, есть некоторые отличия.

АБСОЛЮТНЕЙШЕЕ ЛАМЕРСТВО. Я не знаю, насколько надо быть слепым, чтобы такое сказать. ИИ к реальным исследованиям работы мозга не имеет никакого отношения, но любит "примазаться" ни к селу, ни к городу.

Татарин> И сильно более того.

Татарин> Настолько глубокая связь слов со словами даёт не просто возможность распологать их в правильном порядке. Она даёт возможность определить смысл слова точно так же, как его определяет человек - через связь с другими словами, правильный контекст употребления, нюансы этих аспектов.

Смысл в том, что английские слова "санитар" и слова "мать" для нейросетей одинаково схожи со словом "женщина".

Кстати напомню, что никаких "определений связей слов со словами" там нет, а есть выдача вектора распределения вероятностей между токенами из словаря. Вот кстати ещё один камень в огород "там всё прям как в мозге".

Татарин> И собссно, на чём основывается ваш оптимизм, я не понимаю. С чего вы взяли, что дальше возникнет какое-то препятствие с системой, использующей эту сеть для формирования решений, когда даже вот эта говорилка худо-бедно уже может делать подобное?

Ох уж это "а с чего вы взяли, что возникнет какое-то препятствие?"...
Тупейший аргумент, который ИИ-оптимисты используют с 70-х.

У трансформеров есть ПРИНЦИПИАЛЬНОЕ и очень сильное ограничение размера контекста. Во время работы они создают Attention matrix, чей размер растёт квадратично с размером этого самого текстового контекста... Грубо говоря, чтобы "обратить внимание" на связь между какими-то словами, для каждой пары слов считается процент их "значимости друг для друга". Ясен пень, что кол-во таких пар растёт очень быстро, потому трансформеры потребляют так много памяти (топовые модели могут как нефиг делать потребовать кластер GPU на 200+ ГБ памяти) и медленно работают.
Потому системы такого рода принципиально ограничены чат-ботами для небольших сессий, и какую-то долгую стратегию с их помощью не реализуешь...

Кстати, у живых существ таких серьёзных ограничений нет, вот тебе и "нет пропастей в принципе работы с мозгом"... Эта штука гораздо ближе к "а давайте тупо перепробуем все возможные ходы".

Татарин> См. массу работ по т.н. самоорганизации - какими-нить там конвекционными ячейками Бернара: масса работ, но нет практически исследований, которые бы говорили, как такие штуки искать и предсказывать в других системах. Так та же конвекция - примитивная же система, из десятка (значимых) дифуров в системе, десятки свободных параметров как максимум.
Татарин> А тут лепят модель с миллиардами-триллионами свободных параметров и... надеются избежать других внезапных её свойств? удержать это под контролем? как-то понять (в полном смысле слова - с предсказанием поведения в деталях), что там происходит?

По-моему, ты смешиваешь два в одном (и даже взбалтываешь). Конечно, поведение сложной нейросети ты и не предскажешь, и скорее всего не поймёшь, а если поймёшь - то с высокой вероятностью ошибёшься.


Но какое это имеет значение в контексте "удержать под контролем"? ЧТО она в принципе может сделать, пока не располагает "аффекторами" (= не управляет СЯС или хотя бы АЭС или хотя бы светофорами в городе)? Не давай корове рогов - она и не забодает, вне зависимости от характера. Не подключай к любой потенциально опасной аппаратуре (как минимум не предусмотрев "предохранители"), и будет тебе счастье, считай, что всё под контролем. Худшее, что эта Массачусетская машина сможет сделать - вынести мозг пользователям чат-системы, беседующим с ней, возможно, необратимо повредить психику неустойчивым людям. Ну это много что может сделать, ничего принципиально нового и хтонического не возникло.

Sandro> Я наткнулся на это со своей стороны. Делал прикидки скорости, с которой мозг обрабатывает информацию в моменты максимальной алёртности (ну например, когда его физическое вместилище начинают убивать), и при сравнении со скоростью распространения сигналов по нервам, приводит к странным оценкам.
Sandro> Мозг обрабатывает информацию быстрее, чем физически может.

Сильно подозреваю, что у тебя была какая-то ошибка, скорее всего - в исходных данных и допущениях. И либо это была большая ошибка, либо сама формула оценки к ошибке чувствительна и "увеличивает" её.

В.с.с.О.> А в англоязычных текстах про изобретение радио больше говорят в контексте Маркони, а в русскоязычных текстах больше в контексте Попова. И это отражается в сети ещё на первом этапе обучения...

Тут подумалось, что при условии обучения нейросети на всей совокупности текстов , представленных не только СМИ, но и частными лицами, в пределе всем грамотным и пишущим населением (переписка, форумы, чаты, бложики) - это ж в результате получается способ как бы персонализированно напрямую поговорить с юнговским коллективным бессознательным целого народа/страны. Жутенькая перспективка

Ну сколько-нибудь адекватно чат-бот будет отражать коллективное бессознательное при условии, что база достаточно велика, и что не слишком большая доля пишущих подвержена цензуре или самоцензуре.

Fakir> - а вот это кстати да; оформление по стандартам, подозреваю, нейросети вполне по силам.

Концепт eGovernment не на ровном месте возник, ещё при царе-горохе...
Тут вопрос в другом:

Если мы можем ДОСТАТОЧНО сильно стандартизировать оформление документов до какого-нибудь "подчеркните нужное/вычеркните ненужное", то зачем нам принципиально LLM, которая галлюцинирует да ещё и требует больших вычислительных мощностей и электричества?

Если мы НЕ можем сильно стандартизировать оформление документов (типа нет типичных случаев, каждый клиент уникален и т.п.), то и без живых юристов тут не обойтись.

Даже если в теории возможно автоматизировать и случаи из второго кейса, то найдутся кадры, которые попытаются заобузить систему. Забей в ютубе или гугле "Prompt injection".

Fakir> Сильно подозреваю, что у тебя была какая-то ошибка, скорее всего - в исходных данных и допущениях. И либо это была большая ошибка, либо сама формула оценки к ошибке чувствительна и "увеличивает" её.

Слышал, что некоторые сенсоры у человека чуть ли не напрямую подключены к актуаторам. Поэтому мы можем очень быстро отдёрнуть конечность, когда почувствовали что-то горячее.

Собственно говоря, у живого существа нет шанса выучить "горячее - это плохо, отдёрни конечность пока не стало поздно", не получив при этом серьёзных повреждений тела, так что "захардкодить" такой навык очень даже нужно.

Sandro>> Мозг обрабатывает информацию быстрее, чем физически может.
Fakir> Сильно подозреваю, что у тебя была какая-то ошибка, скорее всего - в исходных данных и допущениях. И либо это была большая ошибка, либо сама формула оценки к ошибке чувствительна и "увеличивает" её.

Там проще. Рефлексы мозг вообще не обрабатывает, они идут по системе мозжечка. И они очень быстрые, значительно быстрее осмысленной реакции. Но фокус в том, что рефлексы можно тренировать и настраивать. Иногда такое называют чем-то типа "комбо" как в игрушках. Последовательность действий и движений, практически неуправляемых в процессе исполнения. Но очень быстрых (хотя и не всегда точных) Физический предел скорости рефлекторного действия на мышцах плечевого пояса около 0,01 секунды. Скорость осмысленной реакции очень редко бывает 0,05 сек, обычно 0,1 - 0,2 секунды.

В.с.с.О.> Просто прекрасно...

Удалите, пожалуйста, первую картинку. Или замажьте там лишнее. Не надо подставлять форум такими сообщениями.

..
Naib> Там проще. Рефлексы мозг вообще не обрабатывает....Скорость осмысленной реакции очень редко бывает 0,05 сек, обычно 0,1 - 0,2 секунды.

Для регистрации фальстарта в спринте приняли 0,1 секунды, с запасом я думаю.

А вот "степень осмысленности" (например, сравнить показания двух приборов. Ох, не зря "будильники любят!) тормозит реакцию на порядки от этого времени

В.с.с.О.>> Просто прекрасно...
Salimbek> Удалите, пожалуйста, первую картинку. Или замажьте там лишнее. Не надо подставлять форум такими сообщениями.


Картинку то удалить можно (но автору сообщения уже нельзя - зря отвечали на сообщение, оно при этом становится недоступным для его редактирования)...теперь токомо к админам взывайте

А вот умище-то GPT-4 куда девать?

тест

Invar> Картинку то удалить можно (но автору сообщения уже нельзя - зря отвечали на сообщение, оно при этом становится недоступным для его редактирования)...теперь токомо к админам взывайте

Всё прекрасно удаляется.

Invar> А вот умище-то GPT-4 куда девать?

Он слабоэффективен там, где у него не было инструкций при обучении.

Татарин> В какой-то момент напишет, конечно. Ничего особо космического там нет же.

Музыку ЭВМ пишет с 60х Конечно не как генерация звука, а работая с нотами.

Говорят даже хорошо вышло. И ноты есть. Но так как история малоизвестная то исполнений в сети не вижу.

Invar>> Картинку то удалить можно (но автору сообщения уже нельзя - зря отвечали на сообщение, оно при этом становится недоступным для его редактирования)...теперь токомо к админам взывайте
В.с.с.О.> Всё прекрасно удаляется.

Гм...Действительно. Временная задержка? Склероз?

Invar>> А вот умище-то GPT-4 куда девать?
В.с.с.О.> Он слабоэффективен там, где у него не было инструкций при обучении.

Большая фарма? Синтез лекарств? Не видно особо прорывов

Это покруче и дороже будет атомной бонбы из пары луковиц

Invar> Большая фарма? Синтез лекарств? Не видно особо прорывов
Invar> Это покруче и дороже будет атомной бонбы из пары луковиц

Мне эта штука заверяла, что перекись водорода можно в магазине купить в виде порошочка... Знания этой штуки в химии слабы.

Для фармацевтики я бы вообще другие принципы применял бы, типа поиска потенциальных химикатов в уже наличествующих химических базах данных. А то нагенерированные сеткой вещ-ва могут быть принципиально неполучаемыми на практике/сложнохранимыми и вообще неизученными.

PSS> Музыку ЭВМ пишет с 60х Конечно не как генерация звука, а работая с нотами.


C XVIII века вообще-то. Вернее, могла бы писать, если бы тогда была ЭВМ Алгоритмы уже существовали, книжки продавались с таблицами "сочини сам вальс при помощи двух игральных костей".