Actions
(415.4 KB, 3183x2328)
>>/3496/ Это мемы из 2016. Мусорить фото так, чтобы они при этом не становились мусором и для человека (и таким образом уязвимыми к даже довольно прямолинейному отсеву) всё сложнее, потому что большие сети всё лучше генерализуют и их всё лучше получается регуляризовывать. Вот такой трансформер уже не наебёшь фоточкой с шумовой маской: https://ai.googleblog.com/2023/03/scaling-vision-transformers-to-22.html > А разве современные нейросети уже не про интерполяцию? Нет. Интерполяция, компрессия, предсказание, поиск и так далее – это всё неточные метафоры для семейства алгоритмов, которые возникают внутри глубоких генеративных нейросетей. При обучении они находят алгоритмы (или, что эквивалентно, эмулируют вычислительные цепи), необходимые для генерации данных, максимально похожих на обучающие данные в их собственном контексте. (При этом идёт великая борьба с меморизацией, сетям не дают просто заучивать датасеты). Таким образом, когда сети дают на вход контекст, не встречавшийся в обучающей выборке, она генерирует выход, используя эти приобретённые алгоритмы. Успех в такой задаче, т.е. "правильный" ответ – это out of distribution generalization, не больше сводимый к интерполяции, чем то, что делаем мы. Весь вопрос в природе и глубине этих алгоритмов, и об этом мы мало что можем сказать ввиду чёрнокоробочности. Но есть сильные основания предполагать, что во многих случаях они близки к тому, чтобы в важных отношениях соответствовать реальному минимальному порождающему алгоритму. Вот (уже кидал) хорошая иллюстрация того, как обычная sequence-to-sequence сетка обучается складывать двоичные числа, выстраивая внутри себя совсем-не-статистический калькулятор https://cprimozic.net/blog/reverse-engineering-a-small-neural-network/ (сравните с >>/3232/). То есть нейросеть, которая отвечает на логические вопросы, не поверхностно интерполирует по похожим текстам в памяти, а имеет отдельно цепи, соотносящие естественные высказывания с логическими примитивами, а отдельно цепи для логических операций, и это будет работать даже для out-of-distribution инпутов (скажем, если использовать язык, на котором она не видела логических задач, в других формулировках, с другими словами; это было показано для instruction-following в мультиязычном BLOOM, который после тюнинга только на английском научился выполнять инструкции в общем случае). GPT, обученная на записи ходов реверси, имеет внутри себя модель "мира" реверси. https://www.neelnanda.io/mechanistic-interpretability/othello GPT-3, обученная на языке, имеет модель "мира" естественного языка и, в большой степени, всего, о чём в нём говорится. GPT-N, обученная на мультимодальных данных, будет иметь внутреннюю модель мира не хуже нашей. Есть ещё вопрос того, насколько минимальны те алгоритмы, абстракции и репрезентации, которые мы выдумали для книжек и на которые философы и кальсон дрочат как на божье откровение. Для арифметики вопрос будет проще, чем для "логического мышления" в общем случае. Эволюционные алгоритмы находят решения, которых не находят люди; GOFAI, в который академические высоколобики пытались запечь свои выдумки, сел в лужу. Вероятно, если научиться хорошо разбирать и анализировать чёрную коробку, мы найдём там отчётливые абстракции – да не те, а какие-то элиенские. Вот пример начала такой линии исследований https://twitter.com/AnthropicAI/status/1570087896723357696 Можешь Сцукевера посмотреть. https://youtu.be/SjhIlw3Iffs?t=904 Ты говоришь про Actor-Critic model. Actor – это policy, которую мы оптимизируем, Critic – модель награды, которую мы обучаем с учителем. Можно сказать, что RLHF, использующий proximal policy optimizaton, сводится к Actor-Critic, но тут много нетривиальных деталей, которые потребовали новых алгоритмов. В целом, делать это буквально отдельными модулями без общих параметров неэффективно, но можно сделать "выносной блок" критика поменьше, потому что классификация проще генерации, как я уже говорил. >>/3498/ Это просто memorizing transformer, один из самых кондовых способов расширения контекста.