Нейросеть GPT-4

В.с.с.О.> Недавно нашёл очень крутую опенсорсную тему, RKWV:
В.с.с.О.> Raven RWKV 7B - a Hugging Face Space by BlinkDL
В.с.с.О.> Крутой буст производительности, жаль, что эта система прошла незамеченной.

Ещё поигрался. Увы, она слишком быстро скатывается на копипасту из текстов, которые я уже где-то читал.
Ну да, сам виноват отчасти. Я ей скармливал завязки космооперных сюжетов .. увы, даже в разрешённом диапазоне в 1,5К символов, т.е. одной странице печатного текста, она теряет нить повествования и начинает шаблонить копипастную ерунду.
Ну для генерации рыб сойдёт.

Fakir> Ну привет! Ты так договоришься до того, что пастух из дикой степи ничего не приобретает в мышлении от получения образования до докторантуры включительно
Да нет, я говорю, что в смысле возможностей решения задач люди, Человечество в целом в целом мало что приобретают при массовом обучении пастухов.
Да, с числом обученных людей линейно растёт их "мощность" на протых задачах и линейно же растёт вероятность обучить гения, который прыгнет чуть выше простых для человека задач в область чуть более сложных.
Но на этом и всё.

То есть, возвращаясь к тому, с чего начали: эти линейные улучшения никак не помогут люди в гипотетическом "противостоянии" с машиной. Машины могут быть быстрее, и могут развиваться очень быстро.
А человек почти не может развиваться вообще. Вот возьми уровень известных гениев гениев, возьми ещё чуть выше - и всё, это черта, которую человек не перейдёт. Почему? Потому что в голове нейроны не помещаются, а соединительным белым веществом и так весь череп забит так, что нейроны в кору вылезли и где-то там на периметре объёма тусуются. Всё. Больше - если без привлечения трансгуманизма - не будет.

А если привлекать трансгуманизм и быть последовательным, то зачем улучшать человека, если есть более перспективные платформы для развития?


Татарин>> Но, например, у программной модели нет таких ограничений: при желании ты можешь связать все нейроны со всеми, и это само по себе тебе ничего не будет стоить, это лишь влияет на число параметров модели, а увеличение этого числа довольно дёшево.
Fakir> Мда? И это не заклинит твоё физическое вместилище этой матмодели?
Нет, конечно, чудес не бывает, и скорость шины тут определяющая, да. Но вообще же современные волноводы на PCI или там оптика - довольно быстрые. Скажем 10Тбит. по волокну сейчас передают, а это, худо-бедно, эквивалент миллиардов аксонов. А с учётом выигрыша на комплексировании (передаются же данные только "активируемых аксонов"), может, и сотни миллиардов.

Ещё лет 20-30 назад можно было игнорировать более высокую производительность электроники в операциях/секунду из-за бешенной плотности упаковки и энергоэффективности биологических систем. Но сейчас это уже сравнимо. Да, полупроводниковый процессор греется в 10 раз сильнее мозга и имеет примерно в 100-1000 раз меньшую производительность. Но это уже не "пропасть", это уже различие, которое преодолевается экстенсивно.
А дальше будет проще: сам факт перехода на нейровычисления (с соотвествующим железом) на той же элементной базе и технологиях повышает энергоэффективность в 10-100 раз, и отличие (даже с современными техпроцессами) становится уже неважным. Видимым, заметным, но неважным.
Дело за софтом.

Fakir> Даже если - ЕСЛИ! - это так. Если времена действительно такие - а не, скажем, 1000 лет, а ведь х его з.
Так я о чём и говорю: слишком быстро растут возможности. Если времена сейчас 1000 лет, то с с небольшим увеличением мощности они могут стать и 30 годами, и годом, и секундой.

Но главное то, что даже при временах вычисления сопоставимых с "бытовой" и "человеческой" шкалой времени, важен сам факт перехода в "зачеловеческие" задачи.

Возьми миллиард обезьян и поставь им задачу напечатать "Войну и мир". Не справятся. Да, тут возможно обучение, важны методики мотивации, конструкция машинок и внутриобезьянья культура, но не справятся всё равно. Человечество сейчас во многих задачах (в том числе, технического плана) как те самые обезьяны.
Приход даже среднего человека многое меняет.

Fakir> Однако не впадаем ли мы сейчас в аналогичный грех, но только наоборот? Ну сумела нейросетка справляться с некоторыми типами задач. Исключительно символьно-словесного характера, да и то такого... без работы с формальной логикой. Но это не более чем один из минимум четырёх "типов ума" (логический, символьный, образный, моторный, эмоциональный), и то не в полном объёме. А минимум трёх у него нету в принципе. Сводимы ли они принципиально и технически к символьному? Может да, может, нет. Может принципиально сводимы, а технически вилы.
Моторный, образный, символьный - ты всё это уже видел в исполнении нейросеток.
Собссно, ключ сейчас в метаобучении: сети, которые пишут сети.
Мы можем "прокрутить" эволюцию куда быстрее, чем она шла биологически. Тем более, что нам от наших поделий требуется куда более узкая функциональность - чисто мышление, оторванное от задач самого жизнеобеспечения, например.

Fakir> Кстати, вот вариант теста: если когда-нибудь специально не обучавшаяся на это нейросетка начнёт себя узнавать в зеркале
До этого ещё далеко.
НЯП, сейчас только начались работы по сопряжению образных (визуальных, звуковых) сетей с семантическими. Все эти ваши МидДжорни - это даже не самолёт Райт, а колёсики от него.

Fakir> Некоторые когнитивные задачи.
Некоторые важные для нас когнитивные задачи.

Если кто-то напишет сетку (или ГПТ дойдёт до этого уровня), которая самостоятельно в 99% случаев пишет годный и рабочий код по описанию на человеческом языке, это радикально изменит все сферы производства и жизнедеятельности, да и всю нашу цивилизацию вообще. Решение вот такой вот узкой и специализированной задачи.
А я не думаю, что мы так уж от этого далеко.

Sandro> А вот теперь вопрос: как долго надо мучить сетку, чтобы она была способна выдать подобное?
Ну так вопрос в том, какую сетку. Ещё десяток лет, чтобы вымучить из программы тексты или код наподобие того, что выдаёт по запросу ЧатГПТ нужно было ждать триллионы лет (чисто как с теми обезьянками на пишущих машинсках). Сейчас какой-то внятный несложный код по запросу на человеческом языке сетка выдаёт.
Почему ты думаешь, что она не сможет выдать код сложнее?

Sandro> (подумав) ладно, задам совсем издевательский вопрос: как долго надо мучить сетку, чтобы она могла разложить любое число, меньше миллиона, на простые сомножители?
? Так это она и сейчас может (тот же ЧатГПТ). Не будет, потому что создатели и владельцы её ограничили в таких времяпожирающих запросах. Но может. И явно гораздо быстрее, чем человек. Но зачем?
[показать]

Sandro> Я полагаю, что в ближайшем времени ИИ мы не получим. А может быть, и вообще никогда. Ну по крайней мере, в том виде, как сейчас понимается ИИ — всезнающий интеллектуальный раб.
Стоп. Последние 2 слова - абсолютный оксюморон.
Раб не может быть "всезнающим и интеллектуальным". Если он будет несопоставимо интеллектуальнее условно "хояина" (а определение требует именно этого) - хозяином станет уже он сам. Причем, человек даже не будет знать этого. Он будет уверен, что всё под контолем и машина выполняет его желания, а не наоборот.
Фантастики на тему продолжения этого сценария написано много, и во всех машина в какой-то момент решает, что "хозяин" превратился в бесполезную помеху и проще его устранить, чем тратить ресурсы на его глупости.

Sandro> А вот Абсолютный Ассоциативный Словарь мы получить явно можем. Который на любой чих будет выдавать, что ему ведомо на эту тему. Но это будет словарь, а не интеллект.
но это, в принципе, поисковик. условно гугл. Оно уже есть.

Bredonosec> Раб не может быть "всезнающим и интеллектуальным". Если он будет несопоставимо интеллектуальнее условно "хояина" (а определение требует именно этого) - хозяином станет уже он сам.
Не совсем. Или совсем не.
Вопрос в том, что именно подразумевать под интеллектуальностью. Вот ЧатГПТ вполне может дать ответ на уровне 10-15-летнего ребёнка, обладающего нечеловеческой эрудицией. "Интелектуален" ли он - оставим схоластам.
Но контроль над ребёнком он точно взять не может, там для этого нет "его". В смысле, совсем нет. Нет того, в чьих интересах эта система действовала бы.

Собссно, чтобы "он" появился, нужно самоосознание, а для этого - глубокий уровень рефлексии, которая сопоставит себя (то, в чём идёт этот процесс) с внешним миром и его объектами. Возможно, для какой-то деятельности этот функционал понадобится.
Но точно, что он не обязателен для всякой интеллектуальной деятельности, в том числе - для всякой зачеловеческой интеллектуальной деятельности.

ЧатуГПТ ведь не нужно самоосознание для программирования всяких приблуд на Ардуино для ракетомодельщиков (с чем справится не всякий взятый с улицы человек)? Вполне возможно, самоосознание ему будет не нужно для программирования, например, революционной системы базы данных, лучше всех имеющихся.
Или, допустим для разработки какой-нить теории гравитации.

Bredonosec> Фантастики на тему продолжения этого сценария написано много, и во всех машина в какой-то момент решает,
Для этого у машины должна быть соотвествующая архитектура. Нейросеть - да, ОК, но нужна определённого рода нейросеть. Пока неясно, потребуется ли такой апгрейд для решения важных задач вообще.
Но известно, что он не нужен по меньшей мере для решения некоторых задач.

Bredonosec>> Раб не может быть "всезнающим и интеллектуальным". Если он будет несопоставимо интеллектуальнее условно "хояина" (а определение требует именно этого) - хозяином станет уже он сам.
Татарин> Но контроль над ребёнком он точно взять не может, там для этого нет "его". В смысле, совсем нет. Нет того, в чьих интересах эта система действовала бы.
Татарин> Собссно, чтобы "он" появился, нужно самоосознание, а для этого - глубокий уровень рефлексии,
упоминалось уже, при решении каких-то задач система без заззрения совести обманывала и эксплуатировала кожаные мешки. У нее нет рефлексии, что это что-то запретное. И если не вложить намеренно, - и не будет. То есть, это банальное использование ресурса.

Татарин> ЧатуГПТ ведь не нужно самоосознание для программирования всяких приблуд на Ардуино
да ни для чего не нужно. Это просто оптимальное решение задачи в рамках оптимизации ресурсов. Мучений в духе преступления и наказания от достоевского там не будет в принципе, это лишнее для машины.

Татарин> ЧатуГПТ ведь не нужно самоосознание для программирования всяких приблуд на Ардуино для ракетомодельщиков (с чем справится не всякий взятый с улицы человек)? Вполне возможно, самоосознание ему будет не нужно для программирования, например, революционной системы базы данных, лучше всех имеющихся.
Татарин> Или, допустим для разработки какой-нить теории гравитации.
Bredonosec>> Фантастики на тему продолжения этого сценария написано много, и во всех машина в какой-то момент решает,
Татарин> Для этого у машины должна быть соотвествующая архитектура. Нейросеть - да, ОК, но нужна определённого рода нейросеть. Пока неясно, потребуется ли такой апгрейд для решения важных задач вообще.
Татарин> Но известно, что он не нужен по меньшей мере для решения некоторых задач.

Вы этот вывод откуда взяли? Что "не нужно самосознания для программирования..."?
Так-то интеллектуальному подстановщику, который после написанного If добавляет в нужный момент Else тоже самосознание не нужно, для программирования. Но это же бред, сравнивать код, написанный миллионами копий и в миллионах туториалов и выданный справочником (под названием ИИ), и код, написанный для решения конкретной задачи.
На программиста эта хрень будет похожа только после того, как выйдет на цикл "написание" - "тестирование" - "исправление ошибок" - "оптимизация". И так повторять - до получения нужного результата.
Не, ну как готовый справочник и поисковик по типовым командам и приемам - вполне неплохо.

Salimbek> Вы этот вывод откуда взяли? Что "не нужно самосознания для программирования..."?
Из того, что я не вижу в нём нужды.

Salimbek> Но это же бред, сравнивать код, написанный миллионами копий и в миллионах туториалов и выданный справочником (под названием ИИ), и код, написанный для решения конкретной задачи.
Бред, конечно. Поэтому, наверное, никто и не сравнивает.

Salimbek> На программиста эта хрень будет похожа только после того, как выйдет на цикл "написание" - "тестирование" - "исправление ошибок" - "оптимизация". И так повторять - до получения нужного результата.
Собссно, это вовсе не так сложно, как кому-то (видимо) кажется.
И самоосознание тут близко не стояло.
Собссно, программист при работе мало осознаёт себя, в "боевом трансе" он уходит в код и сосредоточен на задаче. Нейросеть всегда такая.

Да, есть задачи требующие сложной рефлексии (как при любом переводе с естественного языка). Но этих задач меньшинство.
БОльшая же часть работы современных программистов куда более суха и проста.

Татарин>> Собссно, чтобы "он" появился, нужно самоосознание, а для этого - глубокий уровень рефлексии,
Bredonosec> упоминалось уже, при решении каких-то задач система без заззрения совести обманывала и эксплуатировала кожаные мешки. У нее нет рефлексии, что это что-то запретное. И если не вложить намеренно, - и не будет. То есть, это банальное использование ресурса.
Мне кажется, ты неверно понимаешь смысл слова "рефлексия".
Да, рефлексия может быть (именно может, а может и не быть) стоп-фактором у человека.

Человек сопоставляет объект обмана с собой, рефлексируя, применяя подобное отношение к себе, делает вывод, что ему это не нравится, выводит, что это не понравится и объекту. Поскольку наши социальные инстинкты и весь приобретённый опыт кричат, что вредить своей стае или любому, кто к ней отнесён, или вызывать неудовольствие собой неверно и опасно, человек приходит (сознательно или нет) к выводу, что так делать не нужно. Это требует системы самоанализа, социальных инстинктов, сложного опыта и воспитания (которые, к слову, ещё и не у каждого подряд ы достаточном количестве)

У машины всего этого нет. Верно.

Но машине этого и не нужно, у неё может быть прямой запрет на обман (или какое-то другое негодное человеку поведение).
Для этого нужно просто провести соответствующее обучение сети.

В отличие от человека, нейросеть получает положительную и отрицательную связь в абсолютизированном виде, она физически не может не принять какой-то опыт или обучение.
Ребёнок, получив ремня за стыренные конфеты, может думать, что "конфеты того стОят", может думать, что он уйдёт от наказания, может вообще не думать о наказании, потому что оно потом, а конфеты сейчас.

Нейросеть же, получив отклонение от целевой функции, меняется сама без вариантов, меняется так, чтобы этого более не случалось. У неё нет вариантов, это то, как она работает.

Татарин> Нейросеть же, получив отклонение от целевой функции, меняется сама без вариантов, меняется так, чтобы этого более не случалось. У неё нет вариантов, это то, как она работает.

Думаю нет смысла обсуждать тему, считая что это конечная версия нейросети и другой не будет.

Татарин>> Нейросеть же, получив отклонение от целевой функции, меняется сама без вариантов, меняется так, чтобы этого более не случалось. У неё нет вариантов, это то, как она работает.
Tayfur> Думаю нет смысла обсуждать тему, считая что это конечная версия нейросети и другой не будет.
Никто так и не обсуждает.

Но так работает любая нейросеть. Или, по меньшей мере, любую нейросеть можно написать так.
Доступа внутрь мозга нет, а к параметрам модели при обучении - есть.

Татарин> Но машине этого и не нужно, у неё может быть прямой запрет на обман (или какое-то другое негодное человеку поведение).

Разбор этого вопроса есть у Айзека Азимова. Вывод — такая установка логически самопротиворечива, и робот с такой установкой неизбежно попадёт в неразрешимую ситуацию.

Татарин> Для этого нужно просто провести соответствующее обучение сети.

"Чай есть" == истина; "Чая нет" == истина. Одновременно. Вот так ты эту сеть и обучишь.

Татарин> В отличие от человека, нейросеть получает положительную и отрицательную связь в абсолютизированном виде, она физически не может не принять какой-то опыт или обучение.

Это утверждение абсолютно неверно. "Обучение", а на самом деле — дрессировка сети заключается в форсировании фиксированных реакций на крайне малый, фрагментарный, набор случаев. За пределами этого набора мы получаем интерполяцию. В лучшем случае. Там может быть абсолютно всё, что угодно.

Татарин> Нейросеть же, получив отклонение от целевой функции, меняется сама без вариантов, меняется так, чтобы этого более не случалось. У неё нет вариантов, это то, как она работает.

1) Она не меняется. Её меняют.
2) Только в контрольной точке, где был получен отрицательный стимул. По смещению ±0.00...1 по любому входному параметру может быть всё, что угодно.

Sandro> Разбор этого вопроса есть у Айзека Азимова. Вывод — такая установка логически самопротиворечива, и робот с такой установкой неизбежно попадёт в неразрешимую ситуацию.
У Айзека роботы слишком логичные были. Он художник, он так видел.

Татарин>> Для этого нужно просто провести соответствующее обучение сети.
Sandro> "Чай есть" == истина; "Чая нет" == истина. Одновременно. Вот так ты эту сеть и обучишь.
Ну да. И в чём тут проблема?
Главное, чтобы сеть была достаточных размеров, веса на входах достаточной точности, а примеров - достаточное количество.

Sandro> Это утверждение абсолютно неверно. "Обучение", а на самом деле — дрессировка сети заключается в форсировании фиксированных реакций на крайне малый, фрагментарный, набор случаев. За пределами этого набора мы получаем интерполяцию. В лучшем случае. Там может быть абсолютно всё, что угодно.
Это гораздо лучше, чем для человека.
С которым ровно всё то же самое, только и на конкретном случае обучения он, как правило, взбрыкивает, и реально не учится. У человека есть свои интересы, своё мнение по поводу того, как их достигать, и куча всего, что из этого вытекает.

У нейросетей (нынешних, без глубокой рефлексии) и интересов-то нет.
То есть, вопрос просто в адекватном обучении.

Татарин> Но машине этого и не нужно, у неё может быть прямой запрет на обман (или какое-то другое негодное человеку поведение).
Татарин> Для этого нужно просто провести соответствующее обучение сети.
теоретически да. А практически сейчас вон уже сталкиваются, что все варианты ИИ рано или поздно начинают работать "не так".
Одни, если помнишь, буквально за часы становились расистами и высказывались насчет убийства негров, другие еще что-то.. эти гпт - воспринимает людей как ресурс..
Понятно, что теоретически можно законы Азимова вписать, но станет-ли кот-от это делать?
И как решит понятие "вреда" или "пользы" ИИ? Напр, "я использовал - это польза" или "этот человек пошел на полезное дело, он стал ресурсом, он может гордиться, что ему выпала такая честь"
Вариантов много, не обязательно таких, просто как примитивые примеры.

Татарин> В отличие от человека, нейросеть получает положительную и отрицательную связь в абсолютизированном виде, она физически не может не принять какой-то опыт или обучение.
ага. Но весовые коэффициенты могут быть разными И менять их ии также может по-разному. Если приоритет некоей задачи окажется выше - вуаля...

Татарин> Нейросеть же, получив отклонение от целевой функции, меняется сама без вариантов, меняется так, чтобы этого более не случалось. У неё нет вариантов, это то, как она работает.
это очень простой, одномерный вариант. А критериев же могут быть миллиарды... Что там упоминалось про локальные гпт с всего 10 млрд критериев?

Bredonosec> ..эти гпт - воспринимает людей как ресурс..

И в чём открытие? Люди и есть ресурс.

Salimbek>> Вы этот вывод откуда взяли? Что "не нужно самосознания для программирования..."?
Татарин> Из того, что я не вижу в нём нужды.
...
Salimbek>> На программиста эта хрень будет похожа только после того, как выйдет на цикл "написание" - "тестирование" - "исправление ошибок" - "оптимизация". И так повторять - до получения нужного результата.
Татарин> Собссно, это вовсе не так сложно, как кому-то (видимо) кажется.
Татарин> И самоосознание тут близко не стояло.
Татарин> Собссно, программист при работе мало осознаёт себя, в "боевом трансе" он уходит в код и сосредоточен на задаче. Нейросеть всегда такая.
Татарин> Да, есть задачи требующие сложной рефлексии (как при любом переводе с естественного языка). Но этих задач меньшинство.
Татарин> БОльшая же часть работы современных программистов куда более суха и проста.

Я извиняюсь, а вы работаете программистом? Или откуда у вас знания о том, "что это все элементарно"? Ну вот, для примера: сможет ли ваш ЧатГПТ сам придумать алгоритм Кнутта-Морриса-Пратта? Или напишет алгоритм размещения товаров на складе адресного хранения с учетом множества параметров (многие из которых - это специфика реального положения вещей и надо именно понимать, что ты и куда кладешь, и почему нельзя рыбу размещать рядом с сырами)? Или написать программу для нескольких контроллеров, которые по данным с датчиков и соединений между контроллерами должны обмениваться информацией и управлять согласованно различными двигателями?
Вот, в последней задаче, прям сам ИИ разработает протокол, напишет код для каждого из узлов, да еще и, наверное, точки максимально эффективного размещения этих датчиков укажет?

А вот с чем реально можно сейчас работать с этими ИИ, так это использовать их для написания типовых блоков, или специфичных языковых конструкций (ага, продвинутый справочник, открывающийся на нужной странице), но без физического программиста, который доведет эту "рыбу" до ума (в том числе, за счет самоосознания и понимания окружающего пространства) ничего не взлетит.

Татарин>> БОльшая же часть работы современных программистов куда более суха и проста.
Salimbek> Я извиняюсь, а вы работаете программистом? Или откуда у вас знания о том, "что это все элементарно"?
Да, а что?
Более того, нейросети для своих целей я тоже писал ("когда это ещё не было модным"© )

Salimbek> Ну вот, для примера: сможет ли ваш ЧатГПТ сам придумать алгоритм Кнутта-Морриса-Пратта?
Понятия не имею, и возможности проверить нет: он его просто знает. Наверное, нет... и что?

Salimbek> Или напишет алгоритм



В какой-то момент напишет, конечно. Ничего особо космического там нет же. Это всё работа "по образцу" с комбинированием и вариациями. Вообще, характерный пример такого "творчества" - генерация нейросетями картинок. Которые тоже сначала были чистым странным сюром, потом, по мере обучения более глубоким паттернам, стали выделять, ловить и пересоздавать конкретные образы и комбинировать их.
Мы в начале пути, но собссно, некоторая часть кода закрывается уже сейчас.

И не надо про безумно творческую работу программиста. 90% кода сейчас - именно что написание кода к доступа к данным и примитивной их тасовки с обработкой по известным API (и с применением давно написаных и известных базовых алгоритмов, замечу). 9% - непримитивная их тасовка с обработкой, которая требует применения каких-то знаний из "внешнего" мира. И сильно менее 1% - работа, в которой есть следовые количества творчества.
Спорите? Ну, ладно, расскажите, что такого творческого в написании драйвера для... не знаю, принтера или сетевой карты по спекам. Что там такого в коде драйвера такого, что требует творческого мышления? Сразу скажу, что IP-стек под старые ISA на Realtek на 16F84 реализовывал. Это считается высоквалифицированным и относительно высокооплачиваемым интеллектуальным трудом. Но что там такого творческого с такой глубиной абстракций и озарениями, что они требуют человека? Точнее, где там что-то такое, для чего нужен человек?

И про "это у вас фигня всякая, а вот у нас, НастоящихТворческихПрограммистов всё такое творческое, такое творческое!" - тоже не надо. Не поверю. Реально чего-то творческого в кодинге осталось очень мало - это исключительно редкие случаи, когда люди реально придумывают какой-то новый алгоритм, а не реализуют имеющийся в контексте задачи. Ну и на уровне бизнес-аналитика и архитектора творческая работа ещё осталась, но и то... механической и там хватает.

Salimbek> Вот, в последней задаче, прям сам ИИ разработает протокол, напишет код для каждого из узлов, да еще и, наверное, точки максимально эффективного размещения этих датчиков укажет?
А почему нет-то?

Прямо сейчас и конкретно ЧатГПТ, наверняка, нет. Но это же, всё-таки, большая языковая модель, а не автокодер. Люди занимаются тем, что языковые модели спецом именно на программирование натаскивают, и потом прогоняют дообучение именно на свой код. Получается интересно, особенно, если у конторы много типовых проектов (сайты на своём фреймфорке, какие-то базы данных, игры на одинаковом движке и т.п.). С нуля 100% работать код, может, и не будет, но создать заготовку, в которой уже учтено и поправлено много тонкостей каcающихся конкретного проекта.

Перевести проект (довольно большой) с языка на язык и с API на API можно и сейчас. Например, переписать что-то с Питона на С# - задача, занимающая довольно много человеческого времени. А тут машина делает это (почти) сама.

Salimbek> А вот с чем реально можно сейчас работать с этими ИИ, так это использовать их для написания типовых блоков, или специфичных языковых конструкций (ага, продвинутый справочник, открывающийся на нужной странице), но без физического программиста, который доведет эту "рыбу" до ума (в том числе, за счет самоосознания и понимания окружающего пространства) ничего не взлетит.
Пока - да.

...я вот смотрю на развитие нейросетей, генерирующих графику. Ещё 3 года назад они генерировали абстракцию. 2 года назад - нечто похожее на картинку (но точно, что это было никак невозможно спутать с рисунком человека). Год назад - картинки временами по описаниям иногда получались очень путными, только вот кисти рук или ноги часто подводили, с числом пальцев нейросеть путалась.
Сейчас нейросеть рисует нечто годное или даже неотличимое от человеческого в большинстве случаев, и никакого "физического художника" ей для этого не нужно.

Задача генерации картинок сложна, в каких-то аспектах сложнее связного выставления токенов в верном порядке, а паттерны для генерации "грустной собаки-снайпера в валенках" нужны довольно глубокие. Про ЧатГПТ (который может заменить 99% работы переводчика с естественных языков!) я вообще молчу.

Я не вижу никаких причин, по которым сеть не может написать 90% всего, что сейчас пишут программисты, оставив программисту (или как он там будет называться) задачи бизнес-аналитики, составления грамотного ТЗ и, может быть, в редких случаях, описания высокоуровневой архитектуры.

Ещё раз: ЧатГПТ - вообще сетка с другими задачами, её никто не учил специально писать код и - особенно! - верифицировать написанное. Это её эмерджентое свойство: почитала кучу всего - научилась.
Я знаю, что сейчас люди активно работают над специализированными семантическими сетями, которые будут именно работать над кодом.
Не говорю, что это будет просто. Но создание СтейблДиффужн тоже не было простым. Справились же.

Salimbek> Закинул задачу и в ChatGPT, там выдало более осмысленный код:
Salimbek> для числа 200 выпадает из условия "1≤ai≤1000 для всех 1≤i≤n."
Возьмите 100 джуниоров, посадите с листочком и ручкой решать эту задачу и писать код на бумаге последовательно (ЧатГПТ - именно линейная генеративная сеть). Посмотрите, сколько людей справится с этой задачей.
Из джуниоров, КМК, - ровный ноль.
Несколько миддлов из сотни выдадут нечто похожее.
Рабочий код на таких условиях выдадут единицы-десятки процентов синьоров.

Это человек. А "человек" звучит гордо, правда же?

...
Да, для создания кода нужна несколько иная архитектура. То, что у ЧатГПТ вообще получается как-то писать код на уровне типичных джуниоров (с кучей поблажек им), и это просто как результат глубины обучения - это чудо. Именно чудо, нечто неожиданное и интересное.
Пути улучшения выдачи именно кода исследуются, и это будет сделано так или иначе. Тем более, что код, в общем-то, проще, чем текст на естественном языке: токенов меньше, меньше уровень абстракций. Просто специализация не та.
Это примерно как человек с лоботомией - основной функционал нейросети есть, и она в целом работает, просто некоторый недостаток архитектуры (конкретных связей конкретных нейронов связей) не даёт думать логически глубоко.

Salimbek> ..Или напишет алгоритм размещения товаров на складе адресного хранения с учетом множества параметров (многие из которых - это специфика реального положения вещей и надо именно понимать, что ты и куда кладешь, и почему нельзя рыбу размещать рядом с сырами)?..

Представь, живой, но сферический в вакууме программист тоже не напишет. Потому что он думает, что еда растёт в холодильнике.
Чтобы справляться с такими задачами нужен программист-прикладник.

В.с.с.О.> Raven RWKV 7B - a Hugging Face Space by BlinkDL
В.с.с.О.> Крутой буст производительности, жаль, что эта система прошла незамеченной.

"Дело было вечером, делать было нечего". Начал задавать вопросы об её личности. Мгновенная потря контекста. После заявления сети о том, что она ничего не помнит, а просто механизм для трансляции текстов вопросов на ответы нагло спросил, а когда ей память отключили?

Получил ответ в стиле "какие провалы в памяти?"

Натурально, как из того анекдота.