Actions
(870.92 KB, 2107x925)
## Наука Meta AI предоставили многофункциональную модель-ассистента для науки. Признаться, она тупа, но у неё есть проблески таланта. Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more. 120b, можно скачать. http://galactica.org https://lablab.ai/event/transforming-with-transformers/hummingbirds/Research%2520Paper%2520Clustering – неплохая идея смысловой навигации по научной литературе, опять же на основе расстояния между эмбеддингами (абстрактов). Демо https://kael558-redesigned-spoon-ui-em33xz.streamlit.app https://venturebeat.com/ai/sanofi-signs-latest-billion-dollar-ai-drug-discovery-deal-this-time-with-insilico/amp/ – опять фарма, опять поиск молекул. Translation between Molecules and Natural Language http://blender.cs.illinois.edu/paper/molt5.pdf Chroma https://generatebiomedicines.com/chroma – вот это удивительно сильно, если подтвердится, генерация белков с заданными свойствами! Вы можете задуматься, что это значит? %%для начала, КОВИДоСПИД с заразностью кори, конечно, но кроме этого%% Всё от индивидуальных лекарств-biologicals до начала "влажных наноассемблеров" по Дрекслеру. Гугл разработал нейросетевой метод сегментации структуры мозга на субклеточном уровне. Это первый шаг к тому, чтобы решить всю нейробиологию, возможно вплоть до симуляций и mind upload. https://ai.googleblog.com/2022/11/multi-layered-mapping-of-brain-tissue.html напоминаю обзор примерно годовой давности про потенциал нейросетей в науке: https://arxiv.org/abs/2110.13041 ## Роботы https://vision-locomotion.github.io https://twitter.com/arankomatsuzaki/status/1589800082865807361 – быстро адаптирующиеся роботы. Sparrow is Amazon’s new intelligent robotic system that streamlines the fulfilment process by moving individual products before they get packaged – рабы на складах всё более не нужны ## Инкрементальное повышение эффективности и масштабирование Не новость, т.к. это уже реализовали Huggingface, но Гугл показал, как квантизирует в int8 свои большие модели. > we achieve 28.5ms/token (это, пессимистично, означает где-то 50 символов в секунду) with int8 weights at batch size 64 on PaLM 540 (то есть: 50 символов в секунду, умножить на 64 юзера) > We believe that quantization of activations to int8 could enable a further cost improvement. https://github.com/google-research/google-research/tree/master/scaling_transformer_inference_efficiency SmoothQuant – ещё более впечатляющий результат, потому что показана и возможность квантизировать в int8 активации, в общем случае, с минимальной потерей качества. https://arxiv.org/abs/2211.10438 Напоминаю, что UL2-20B сравнима по уму с GPT-3 и (теперь точно) влезет в одну 3090. GLM-130B сжимается вообще в int4 https://arxiv.org/abs/2210.02414#baai, превосходит GPT-3 и влезает в 4x3090 или, если очень хочется, 8x2080ti. Это где-то… 300к рублей на систему? https://arxiv.org/abs/2211.17192 – спекулятивный декодинг ещё кратно повышает скорость инференса трансформеров. Кому кажется, что это фигня – напомню, что чем дешевле и быстрее инференс, тем практичнее делать множество попыток, и это можно автоматизировать; скрипт может самостоятельно выбрать best of N-блок, и он действительно, в среднем, будет разумнее и содержать меньше ошибок. Так что это вопрос качества, а не количества. https://arxiv.org/abs/2211.16749 и ещё кратное ускорение. https://github.com/hpcaitech/ColossalAI – удешевления, ускорения, оптимизации и трючки для бомжей.