>>/3482/ - Ллама обучена на открытых датасетах. - не согласен. Common Crawl это куча мусора с невычищенной HTML-разметкой, ботами, кучей дубликатов и откровенной шизы. Ютюбчик и диалоги это источник ground truth о человеческом взаимодействии. - Не знаю что там травит и что ты называешь особыми данными. Мультимодальность должна поднять генерализацию. Картиночная версия GPT-4 уже лучше дефолтной. - Подозреваю что наоборот, ты продолжаешь думать в логике интерполяции/наивного сжатия, но GPT-4 почти наверняка сильно умнее среднего арифметического своих данных. Если под оперативной памятью ты понимаешь так или иначе реализованную внешнюю ленту в дополнение к окну контекста, то это уже давно сделали, в 4.5 прикрутят что-то получше. >>/3484/ Как и кальсоношиз, ты заслуживаешь пинков своей непомерной и смешной, ни на что не опирающейся гордыней. >>/3487/ > Но ты же понимаешь, что под тем же словом будут "понимания" разного качества И я говорю, что твоё понимание ниже качеством, чем у LLM. Где пруфы обратного? Ты едва можешь вести диалог. Ты забываешь, что тебе нужны таблетки по весне. > Что такое "способность смеяться"? Видимо не что-то, необходимое для когнитивного распознавания и генерации, т.е. понимания юмора. > Научное предсказание таково, что Вот что пока сложно добавить к LLMам, так это любопытство и самокритику. Но ты и в этом им уступаешь. >>/3492/ Смотри всю линейку архитектур с облегчённым вниманием от Stanford AI Lab, FlashAttention-S4-H3, и вот теперь они дошли до конволюционной Hyena https://arxiv.org/abs/2302.10866. Self-attention переоценен. >>/3493/ > Просто индусов слишком много, и они делятся на два типа: У тебя из внимания вывалились индусы, которые пишут ответы для GPT-4, клован. Попробуй поменять оператор на Гиену. Тем временем, обсуждение вне дурдома: https://www.unesco.org/en/articles/artificial-intelligence-unesco-calls-all-governments-implement-global-ethical-framework-without https://www.bbc.co.uk/news/uk-65147841