## Наука
Meta AI предоставили многофункциональную модель-ассистента для науки. Признаться, она тупа, но у неё есть проблески таланта. Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more. 
120b, можно скачать. 
http://galactica.org

https://lablab.ai/event/transforming-with-transformers/hummingbirds/Research%2520Paper%2520Clustering – неплохая идея смысловой навигации по научной литературе, опять же на основе расстояния между эмбеддингами (абстрактов). Демо https://kael558-redesigned-spoon-ui-em33xz.streamlit.app

https://venturebeat.com/ai/sanofi-signs-latest-billion-dollar-ai-drug-discovery-deal-this-time-with-insilico/amp/ – опять фарма, опять поиск молекул. 
Translation between Molecules and Natural Language http://blender.cs.illinois.edu/paper/molt5.pdf
Chroma https://generatebiomedicines.com/chroma – вот это удивительно сильно, если подтвердится, генерация белков с заданными свойствами! Вы можете задуматься, что это значит? %%для начала, КОВИДоСПИД с заразностью кори, конечно, но кроме этого%% Всё от индивидуальных лекарств-biologicals до начала "влажных наноассемблеров" по Дрекслеру.  

Гугл разработал нейросетевой метод сегментации структуры мозга на субклеточном уровне. Это первый шаг к тому, чтобы решить всю нейробиологию, возможно вплоть до симуляций и mind upload. 
https://ai.googleblog.com/2022/11/multi-layered-mapping-of-brain-tissue.html

напоминаю обзор примерно годовой давности про потенциал нейросетей в науке: https://arxiv.org/abs/2110.13041

## Роботы
https://vision-locomotion.github.io  https://twitter.com/arankomatsuzaki/status/1589800082865807361 – быстро адаптирующиеся роботы. 
Sparrow is Amazon’s new intelligent robotic system that streamlines the fulfilment process by moving individual products before they get packaged – рабы на складах всё более не нужны
## Инкрементальное повышение эффективности и масштабирование
Не новость, т.к. это уже реализовали Huggingface, но Гугл показал, как квантизирует в int8 свои большие модели. 
>  we achieve 28.5ms/token (это, пессимистично, означает где-то 50 символов в секунду) with int8 weights at batch size 64 on PaLM 540 (то есть: 50 символов в секунду, умножить на 64 юзера)
>  We believe that quantization of activations to int8 could enable a further cost improvement.
https://github.com/google-research/google-research/tree/master/scaling_transformer_inference_efficiency
SmoothQuant – ещё более впечатляющий результат, потому что показана и возможность квантизировать в int8 активации,  в общем случае, с минимальной потерей качества.  
https://arxiv.org/abs/2211.10438
Напоминаю, что UL2-20B сравнима по уму с GPT-3 и (теперь точно) влезет в одну 3090. 
GLM-130B сжимается вообще в int4 https://arxiv.org/abs/2210.02414#baai, превосходит GPT-3 и влезает в 4x3090 или, если очень хочется, 8x2080ti. Это где-то… 300к рублей на систему? 

https://arxiv.org/abs/2211.17192 – спекулятивный декодинг ещё кратно повышает скорость инференса трансформеров. Кому кажется, что это фигня – напомню, что чем дешевле и быстрее инференс, тем практичнее делать множество попыток, и это можно автоматизировать; скрипт может самостоятельно выбрать best of N-блок, и он действительно, в среднем, будет разумнее и содержать меньше ошибок. Так что это вопрос качества, а не количества.

https://arxiv.org/abs/2211.16749 и ещё кратное ускорение.

https://github.com/hpcaitech/ColossalAI – удешевления, ускорения, оптимизации и трючки для бомжей.