Нейросеть GPT-4

Татарин>> Вроде, корректно. Что тут неверно?
Xan> Лишнее действие.
Согласен, выход по нулю достаточен и лучше, можно сэкономить чать операций в каких-то случаях.
Но не менять же код, который написал GPT? Он хужожник, он так видит.

Tayfur> Мысль. GPTchat нужно замкнуть на самого себя. Пусть поговорит сам с собой...
Tayfur> Что произойдёт с GPT когда сложится паттерн, утверждающий что он разговаривает сам с собой?

У него нет "сам с собой". Это система "текст входит - текст выходит".

с.т.> наверняка она в режиме обучения постоянно сама с собой говорит, я хз как у них там конкретно реализовано это как бы стандартная практика самообучения.

Синтетические данные.

Вообще просто "говорить самим с собой" смысла нет - нужно как-то убеждаться, что текст, генерируемый нейросетью вообще связный и пригодный к использованию.

Собственно говоря, текст для обучения и нужен чисто как референс, не более.

с.т.>> наверняка она в режиме обучения постоянно сама с собой говорит, я хз как у них там конкретно реализовано это как бы стандартная практика самообучения.
В.с.с.О.> Синтетические данные.
В.с.с.О.> Вообще просто "говорить самим с собой" смысла нет - нужно как-то убеждаться, что текст, генерируемый нейросетью вообще связный и пригодный к использованию.
В.с.с.О.> Собственно говоря, текст для обучения и нужен чисто как референс, не более.

такие же синтетические как самообучение шахматиста который сам с собой играет, или боты с ботами в компьютерных играх.

с.т.> такие же синтетические как самообучение шахматиста который сам с собой играет, или боты с ботами в компьютерных играх.

Не, там несколько другое. Отличия в функции ошибки, и разные методики обучения. Нейросети так-то умеют неплохо учиться, но чтобы чему-то научиться, нужно как-то узнать (вычислить) свои слабые и сильные стороны, как-то контролировать и направлять поведение нейросети.

И тут можно выделить 4 большие группы: обучение без учителя (unsupervised или self-supervised), обучение с учителем (supervised), обучение с подкреплением (reinforcement) и transfer learning (не знаю почему в русскоязычной литературе этот термин не переводят). Разные функции ошибок подходят под разные задачи и под разные данные.

Обучение с учителем подразумевает наличие "учителя", который составит данные в виде пар "входные данные - выходные данные". Например, пары "фото сварочного шва - характеристика шва". Модель принимает в себя фотографии сварочного шва, возвращает его характеристику. Функция ошибки сравнивает ответ, предоставленный моделью, и предоставленный учителем ответ, и в зависимости от их разницы даёт оценку нейросети, а алгоритм обучения меняет модель, чтобы таких ошибок не было.
Метод прост, эффективен, размеченные наборы данных - роскошь, понятное дело.

Обучение без учителя подразумевает отсутствие размеченных данных. Разметка данных осуществляется "по ходу дела". Например, ты можешь взять много гигабайтов текста, и в кач-ве примеров входных данных брать выдержки текста, а в кач-ве примеров выходных данных - следующий после выдержки текст. Например "Я люблю яблоки, особенно красные", можно представить как пару "Я люблю" - "яблоки, особенно красные".

В шахматах/компьютерных играх обычно есть некоторая цель - заработать очки/съесть фигуры противника и т.п..
Собственно, эти очки можно использовать как функцию ошибки. Это и есть "Reinforcement Learning". Данные, как таковые, тут вообще не нужны, но нужна среда, создание которой может быть очень сложным. Одно дело, когда ты можешь взять готовую игру, типа шахмат, другое дело, когда эту технологию использовать для создания автомобилей с автопилотом - там вычислительные потребности совершенно разные...

Обучение нейросети - итеративный процесс. После каждого вычисления ошибки модель меняется, но ненамного (это практично, т.к. позволяет использовать приблизительные расчёты). Перед обучением у нейросети случайные веса, и её действия случайны, но по мере обучения действия нейросети будут всё лучше и лучше.
Но если мы возьмём УЖЕ обученную нейросеть, и будем обучать её по другой методике и по своим данным? Т.к. обучение нейросети итеративно (происходит изменениями по чуть-чуть), то нейросеть не разрушит все "старые" связи (их можно вообще во многих местах "заморозить", чтобы наверняка), а как-то использует их.
Transfer Learning (трансферное обучение) подразумевает использование этих свойств. Одна из самых популярных и мощных техник. Например, можно взять предобученую модель для распознавания изображений и дообучить её на своих изображениях. Предобученая модель уже умеет делать многие важные для распознавания изображений вещи - находить контуры/контрасты и всё в этом духе, поэтому тебе для твоих задач не нужны большие наборы данных.

При создании ChatGPT & Open Assistant использовали новую технику: RLHF - Reinforcement Learning From Human Feedback.

Суть такова, что сначала у нас есть LLM (Large Language Model, Большая языковая модель), которая была "обучена без учителя" на огромном массиве текста принимать в себя куски текста и выдавать их потенциальное продолжение. Также у нас куча людей. Люди имитируют пользователей, задавая LLM вопросы, она выдаёт текст в ответ. Это может быть правильный ответ/неправильный ответ/продолжение твоего вопроса/тебя могут оскорбить или послать в пешее эротическое. Второй задачей людей является разметка данных: сгенерированный нейросетью текст оценивают как хороший и плохой. Вопросы для LLM тоже могут генерироваться LLM, и тоже проверяются людьми. Функция ошибки в данный момент - это мера схожести текущих ответов нейросети с "хорошими ответами".

Но, когда наберётся достаточно оценённых текстов, их можно использовать для обучения нейросети-оценщика, уже методом обучения с учителем. Входные данные такой нейросети - текст, выходные - оценка. И такую нейросеть используют для дополнения людей, размечающих данные для LLM.

Если ответы нейросети-оценщика неоднозначны (типа "хороший ответ 45%, плохой ответ 55%"), то тогда люди обрабатывает те данные, на которых нейросеть-оценщик ненадёжна. Эти данные потом используют для дообучения нейросети-оценщика.

И таким образом у нас образуется замкнутая петля.

Ещё есть GAN (Generative Adversarial Networks), но про них потом, итак длиннопост вышел.

Как видишь, любопытный сплав Reinforcement Learning и Transfer Learning. В кач-ве среды у нас нейросеть-оценщик, а LLM как раз обучается методом трансферного обучения.

Подробнее про технику RLHF можешь прочитать в "InstructGPT", в интернете про это найдёшь.

с.т.> наверняка она в режиме обучения постоянно сама с собой говорит, я хз как у них там конкретно реализовано это как бы стандартная практика самоо обучения.
Нет, как ВСсО написал, это ничего не даст в отсутствие контролёра - того, кто будет объективно оценивать качество работы.
А поскольку область работы такая, что качество работы оценивать может только человек, нужен человек, без него никак.

Нет же никаких объективных критериев, "хорошо" ли прошёл разговор или "плохо" (вот как с шахматами, го, старкрафтом - выиграл? хорошо; или в самообучении ходьбе - прошёл далеко за небольшое время? хорошо!). В разговоре нет такого.

Более того, ты так банально "сведёшь сетку с ума" - зациклишь её на каких-то темах и сильно исказишь поведение. Примерно как с человеком, который долго говорит сам с собой.

с.т.>> наверняка она в режиме обучения постоянно сама с собой говорит, я хз как у них там конкретно реализовано это как бы стандартная практика самоо обучения.
Татарин> Нет, как ВСсО написал, это ничего не даст в отсутствие контролёра - того, кто будет объективно оценивать качество работы.
У маленьких детей есть такое поведение. Один из взрослых, скажем, даёт ребёнку какой нибудь предмет. Ребёнок идёт с предметом к другому взрослому, даёт ему предмет и смотрит его реакцию. Т.е. ребёнок изучает какая должна была быть его реакция на действия первого взрослого.
В случае GPTchat (не знаю как на самом деле) мог бы транслировать фразы одних людей другим и изучать варианты ответа.

Tayfur> В случае GPTchat (не знаю как на самом деле) мог бы транслировать фразы одних людей другим и изучать варианты ответа.
Так и есть. И таких фраз в его обучении набралось на 60ТБ. Ему изначально дают изучать только тексты, признанные годными, хорошими текстами. Собссно, из этого знания "что такое хорошо", знания о том, что что от требуется, и возникает его способность работать вообще.

Дальше в диалогах с людьми идёт уже тонкая настройка на нюансы живого взаимодействия - диалоги имеют свои правила, он их и изучает (а люди ему говорят, когда получилось годно, а когда нет).

Татарин> Нет же никаких объективных критериев, "хорошо" ли прошёл разговор или "плохо" (вот как с шахматами, го, старкрафтом - выиграл? хорошо; или в самообучении ходьбе - прошёл далеко за небольшое время? хорошо!). В разговоре нет такого.

И тут я вспоминаю пример, когда создали нейросеть для создания идеального гуманоида для преодоления 50-метровой полосы препятствий с максимальной скоростью*

*скоростью перемещения центра масс гуманоида.

Нейросеть могла менять поведение гуманоида и пропорции его тела.
В итоге идеальным гуманоидом оказался ублюдок, у которого одна нога была под 70 метров длиной, который на ней и стоять-то не мог... Зато падал быстро и сразу за финишную прямую...

Tayfur> В случае GPTchat (не знаю как на самом деле) мог бы транслировать фразы одних людей другим и изучать варианты ответа.

Вот что ты имеешь ввиду под "изучать варианты ответа"? "Изучалки" ведь там нет, ОБЯЗАТЕЛЬНО надо написать некую функцию ошибки (можно хоть нейросеть, которая будет функцией ошибки).

Татарин> Нет, как ВСсО написал, это ничего не даст в отсутствие контролёра - того, кто будет объективно оценивать качество работы.

Вот тут тоже есть нюансы...

Ведь суть в получении оценки, а человек тоже может ошибаться из-за излишней самоуверенности, а ИИ может просто начать пресмыкаться, давая ответы, которые просто удовлетворят человека. Да, человека зачастую удовлетворяют правдивые ответы, но достаточно ведь и правдоподобных...

В конце концов, у нас просто система "текст входит - текст выходит". А тексту необязательно иметь под собой какой-то ресёрч или типа того.

Sandro>> Вот пусть она мне корректную процедуру подсчёта единичных бит на ассемблере PDP-11 напишет. В прошлый раз этот исскуственный идиот облажался.
Татарин> Не понял... когда был прошлый раз?
Татарин> Вроде, корректно. Что тут неверно?

То, что сеть не знает ассемблера PDP-11.

Ошибки:

> mov #16, r2 ; устанавливаем счетчик битов

Система счисления по умолчанию — восьмеричная. #20 должно быть. А вообще действительно надо выходить по нулю в сдвиговом регистре.
Предыдущая версия кода от ChatGPT пыталась это делать, но неправильно.

> mov r0, r3 ; сохраняем слово в регистре r3

Половину скопипастил, половину нет. Эта манипуляция нужна для того, что принято возвращать результат в R0. Регистр освободил, но возвращает результат в R1. Нарушение де-факто стандартов и лишняя команда.

> ash #1, r3 ; сдвигаем слово влево на 1 бит

Команду ASL отменили? Ничего, что она есть на всех моделях, а ASH — только на машинах с полной EIS?

> br z, done ; если слово стало равно 0, переходим к завершению

Такой команды (br z,) не существует. Есть beq, но даже с ней код проимеет последнюю единицу.

> beq loop ; если старший бит равен 0, переходим к следующему биту

(правка) Вот блин, просмотрел, думал по комментарию хоть это поправили. Полночь уже тут у меня.

beq — это переход, если весь результат операции равен 0. А не старший бит. И даже проверка на старший бит неверна.
Просто сплошняком бред, это не может работать в принципе.

> inc r1 ; если старший бит равен 1, увеличиваем счетчик

Просто тупизм. ADC R1

> br loop ; переходим к следующему биту

А счётчик битов зачем был? Зачем константу в R2 запихивать нужно было? BR — это безусловный переход!

> rts ; завершаем процедуру, результат в регистре r1

Такой нотации ассемблера нет. Есть RTS R7. Есть её короткий синоним RET. Но не это.

Вывод — это даже не ошибочный код. Это склад ошибок компиляции и алгоритмических ошибок.

Правильно, например, так:
(правка — добавил комментарии)

popcnt: clr r1 ; обнулим счётчик единиц
loop:   asl r0 ; выдвинем старший бит во флаг арифметического переноса; можно add r0, r0 -- совой об пень или наоборот ...
        beq done ; если мы выдвинули все единичные биты -- готово
        adc r1 ; добавим значение выдвинутого бита (0 либо 1) к счётчику
        br loop ; продолжим с остальными битами, остались где-то единички
done:   adc r1 ; выдвинули все единички, во флаге переноса либо 1 (последняя единичка), либо -- особый случай -- 0, если нам передали на вход нуль, добавляем, что там есть
        mov r1, r0 ; перекладываем результат счёта в традиционное место (r0)
        ret ; всё сделано, возвращаем управление вызвавшей нас подпрограмме

Кстати, по машкоду это ещё и на треть короче, чем бредни Искусственного Идиота.

Татарин> Юмор может воспроизводиться на уровне повторения паттерна, без рефлексии. Просто глубокие схемы, шаблоны шутки могут быть реально глубоки и сложны для повторения человеком. Но они есть, и очень сложно отличить, кстати, простое повторение глубокого шаблона в новом контексте от сложной рефлексии.

Так мы об одном же говорим. Петросянство, естественно, алгоритмизируется тривиально. Это ChatGPT может, необходиый набор шаблонов там невелик.

А вот насчёт реально нетривиального юмора?

Кстати, ты неправильно формулируешь запрос на интеллект — есть наводящие слова. Много. Вот бы спросил, "есть ли что-то в смешное в динамометрическом ключе, и причём тут инопланетяне?"

Это отсылка к одной старой компьютерной игре, там надо было правильно ответить на вопрос про ключ, и в контексте это довольно смешно.

Но правильный ответ не про инопланетян. Вообще. Хотя они виноваты в возникшей ситуации.

Татарин> В реальном мире ИИ даёт слишком большие выгоды даже частному лицу, и если однажды нащупают методику создания, то этот фарш обратно уже будет не провернуть. А мы именно что довольно близки к этому, КМК. Даже если не ГПТ5, всё равно - вопрос максимум 20-30 лет. Мы ещё увидим.

Я полагаю, что в ближайшем времени ИИ мы не получим. А может быть, и вообще никогда. Ну по крайней мере, в том виде, как сейчас понимается ИИ — всезнающий интеллектуальный раб.

А вот Абсолютный Ассоциативный Словарь мы получить явно можем. Который на любой чих будет выдавать, что ему ведомо на эту тему. Но это будет словарь, а не интеллект.

В.с.с.О.> В конце концов, у нас просто система "текст входит - текст выходит". А тексту необязательно иметь под собой какой-то ресёрч или типа того.
От определения целевой функции зависит поведение сети, это банальность. Если принимающий при обучении сети работу человек халтурит, то он научит сеть плохому.

Нормально человек должен полностью проверить корректность ответа.
Если же задачей стоИт просто удовлетворить человека, которому пофиг на ответ, то именно эта задача и будет решена.

Sandro> А вот насчёт реально нетривиального юмора?
Ну, я спросил про анекдот, который оказался мне хорошим. Приведи свой пример для субъективной чистоты эксперимента.

Sandro> Кстати, ты неправильно формулируешь запрос на интеллект — есть наводящие слова. Много. Вот бы спросил, "есть ли что-то в смешное в динамометрическом ключе, и причём тут инопланетяне?"
Sandro> Это отсылка к одной старой компьютерной игре,
Для этого нужно слишком много знать про игру. Слишком многого хочешь, с таким и человек не справится.

Sandro> Я полагаю, что в ближайшем времени ИИ мы не получим. А может быть, и вообще никогда. Ну по крайней мере, в том виде, как сейчас понимается ИИ — всезнающий интеллектуальный раб.
После игр с GPT я так не уверен.

Ты слишком многого хочешь от простой языковой модели, которая разрабатывается коллктивом в десятки человек всего несколько лет при явном недостатке вычислительной мощи (достаточная - это когда цикл полного обучения длится минуты, в худшем случае часы, как компиляция проекта; когда можно запустить метаобучение и позволить автоматике оптимизировать архитектуру самостоятельно).

Процессоры тоже разводили вручную до некоторого момента.
Z80 так сделать было можно, но сильно дальше продвинуться нельзя: нельзя развести вручную миллиард транзисторов. Нужна автоматизация и выход на всё более высокие уровни абстрации, создание нейросетей вручную в чём-то подобном Тензорфлоу позволительно только пока архитектура примитивна.
Конкретно в нашем случае для этого нужно железо, способное выполнять нейросети гораздо быстрее.

Очевидный ход, как я его вижу, следующий: берём за основу (предобученную) GPT-4, превращаем конфигурацию сети в вектор, и начинаем её менять, к примеру, каким-то генетическим алгоритмом, в поиске исправления набора явных косяков в ответах, наиболее перспективных кандидатов прогоняем через расширенные тесты с участием человеков, и далее - снова в цикл.
Тесты, ессно, не на формирование "линейных" ответов по знанию, а на "сложные" вещи типа арифметики, кода, "рассуждений" и т.п.
Значительную часть проверки ответов (на написание кода и решение логических задач) можно автоматизировать.

Sandro> А вот Абсолютный Ассоциативный Словарь мы получить явно можем. Который на любой чих будет выдавать, что ему ведомо на эту тему. Но это будет словарь, а не интеллект.
Даже сейчас даже GTP-4 - куда больше, чем словарь.

Словарь нельзя спросить "был ли Кутузов выше или ниже по росту других участников совета в Филях в романе "Война и мир"?". GPT-4 - явно не "сильный" ИИ, но это точно так же куда больше словаря уже сейчас.

O.N.> Никто не пробовал установить? (что-то мне лень в виртуалке было .... на свой страх и риск ставлю...)
O.N.> Telegram: Contact @gitmedia
O.N.> ... поставил ... русский нихт ферштейн .
Дык, обучать же нужно.

Фишка чатГПТ именно в её обучении, не только нейросети как таковой.

O.N.>> ... поставил ... русский нихт ферштейн .
Татарин> Дык, обучать же нужно.
Татарин> Фишка чатГПТ именно в её обучении, не только нейросети как таковой.

ТО есть мне ещё и обучать её придётся? Сколько лет?

O.N.>>> ... поставил ... русский нихт ферштейн .
Татарин>> Дык, обучать же нужно.
Татарин>> Фишка чатГПТ именно в её обучении, не только нейросети как таковой.
O.N.> ТО есть мне ещё и обучать её придётся? Сколько лет?
Она там предобученая... но я не о том. Я о том, что это "заготовка ChatGPT", недообученная, с другим обучением.
И совершенно не факт, что ты сможешь её обучить до уровня ChatGPT. С хорошей такой вероятностью можно предположить, что у тебя этого не получится.

Татарин> Она там предобученая... но я не о том. Я о том, что это "заготовка ChatGPT", недообученная, с другим обучением.
Татарин> И совершенно не факт, что ты сможешь её обучить до уровня ChatGPT. С хорошей такой вероятностью можно предположить, что у тебя этого не получится.

То , что я не смогу её обучить - я уже понял . Но хоть до уровня таракана амёбы - это возможно? И какая Методика?
PS Предполагаю - нужно "скармливать" всё подряд , и говорить - верно-не верно? ..... Не ...это долго .

O.N.> То , что я не смогу её обучить - я уже понял . Но хоть до уровня таракана амёбы - это возможно? И какая Методика?
O.N.> PS Предполагаю - нужно "скармливать" всё подряд , и говорить - верно-не верно? ..... Не ...это долго .
Никаких "говорить". Просто скармливать тексты, там, НЯЗ, другого кода для другого способа и нет попросту.

Одна из фишек конкретно ChatGPT - дообучение GTP-4 с учителем. То есть, сначала её хорошо обучили, а потом начали долго говорить "правильно-неправильно" на ответы.

Татарин> Никаких "говорить". Просто скармливать тексты, там, НЯЗ, другого кода для другого способа и нет попросту.
Татарин> Одна из фишек конкретно ChatGPT - дообучение GTP-4 с учителем. То есть, сначала её хорошо обучили, а потом начали долго говорить "правильно-неправильно" на ответы.

То есть доучить "недообученный" GPT даже до уровня амёбы у меня не получится (я не смогу ответить-"правильно или не правильно" ... "с её точки зрения" (я не эксперт , и "не жил в теле амёбы") ) .. А так , да ... В одиночку - это как Младенца - нужно несколько лет "воспитывать"- но самое Грустное , что совершенно Не Правильно можно "воспитать" . Нет совершенных знаний , ни у кого (даже у экспертов). ...Ладно ...проехали .

Татарин>> Никаких "говорить". Просто скармливать тексты, там, НЯЗ, другого кода для другого способа и нет попросту.
Татарин>> Одна из фишек конкретно ChatGPT - дообучение GTP-4 с учителем. То есть, сначала её хорошо обучили, а потом начали долго говорить "правильно-неправильно" на ответы.
O.N.> То есть доучить "недообученный" GPT даже до уровня амёбы у меня не получится (я не смогу ответить-"правильно или не правильно" ... "с её точки зрения" (я не эксперт , и "не жил в теле амёбы") )
Не получится по другой причине: НЯЗ, в публично доступной GPT-4 нет кода с дообучением учителем (или я его не увидел).

А так, при обучении не надо "с её точки зрения". В этом и фишка, что надо со своей. Это не ребёнок, имеющий ощущение "я", рефлексию и способность к личным выводам. Это скорее недоживотное, которое при обучении либо кормят сахарком, либо бьют палкой, в зависимости от верности-неверности поведения.
GPT нельзя что-то "объяснить", можно только показать, годно она себя ведёт или нет.

Но да. Это большой отдельный труд. Не создание архитектуры нейронных слоёв, а их обучение, подбор корпуса обучающих данных, подбор примеров, за которые надо награждать или наказывать, правильный тонкий выбор внутри этих примеров и т.п..

...
У человека (да и у животного) есть специальные системы, которые сильно облегчают передачу опыта и исправление ошибок, и эти системы стараются улучшить во время обучения. У машины их пока мало. Конкретно GPT "знания" о своих ошибках хранит просто в тексте сессии, а не меняет своё глобальное поведение. Не только потому, что это разработчики ограничили, но ещё и потому, что она этого просто на этом уровне не умеет.
Если ей сказать "поменьше деепричастных оборотов", это возымеет ровно такой же такой эффект, как с человеком, но природа этих изменений будет совершенно другая, для GPT эта фраза будет частью промпта для генерации последующего текста, а не принятым опытом.