>>/3482/
- Ллама обучена на открытых датасетах.
- не согласен. Common Crawl это куча мусора с невычищенной HTML-разметкой, ботами, кучей дубликатов и откровенной шизы. Ютюбчик и диалоги это источник ground truth о человеческом взаимодействии.
- Не знаю что там травит и что ты называешь особыми данными. Мультимодальность должна поднять генерализацию. Картиночная версия GPT-4 уже лучше дефолтной.
- Подозреваю что наоборот, ты продолжаешь думать в логике интерполяции/наивного сжатия, но GPT-4 почти наверняка сильно умнее среднего арифметического своих данных.
Если под оперативной памятью ты понимаешь так или иначе реализованную внешнюю ленту в дополнение к окну контекста, то это уже давно сделали, в 4.5 прикрутят что-то получше.
>>/3484/
Как и кальсоношиз, ты заслуживаешь пинков своей непомерной и смешной, ни на что не опирающейся гордыней.
>>/3487/
> Но ты же понимаешь, что под тем же словом будут "понимания" разного качества
И я говорю, что твоё понимание ниже качеством, чем у LLM. Где пруфы обратного? Ты едва можешь вести диалог. Ты забываешь, что тебе нужны таблетки по весне.
> Что такое "способность смеяться"?
Видимо не что-то, необходимое для когнитивного распознавания и генерации, т.е. понимания юмора.
> Научное предсказание таково, что
Вот что пока сложно добавить к LLMам, так это любопытство и самокритику. Но ты и в этом им уступаешь.
>>/3492/
Смотри всю линейку архитектур с облегчённым вниманием от Stanford AI Lab, FlashAttention-S4-H3, и вот теперь они дошли до конволюционной Hyena https://arxiv.org/abs/2302.10866.
Self-attention переоценен.
>>/3493/
> Просто индусов слишком много, и они делятся на два типа:
У тебя из внимания вывалились индусы, которые пишут ответы для GPT-4, клован. Попробуй поменять оператор на Гиену.
Тем временем, обсуждение вне дурдома:
https://www.unesco.org/en/articles/artificial-intelligence-unesco-calls-all-governments-implement-global-ethical-framework-without
https://www.bbc.co.uk/news/uk-65147841