К вопросу зрелых бенчмарков. Очередной блокчейннфт^W ИИ-стартап "Google" выпустил бенчмарк для сравнения диффузионных редакторов, и как водится свой редактор, незатейливо названный Imagen Editor. Это ускорит порешание такого артефакта тёмных веков, как Photoshop.
https://arxiv.org/pdf/2212.06909.pdf
https://imagen.research.google/editor/ (пока неактивно)
> To improve qualitative and quantitative evaluation, we introduce EditBench, a systematic benchmark for text-guided image inpainting. EditBench evaluates inpainting edits on natural and generated images exploring objects, attributes, and scenes. Through extensive human evaluation on EditBench, we find that object-masking during training leads to across-the-board improvements in text-image alignment -- such that Imagen Editor is preferred over DALL-E 2 and Stable Diffusion -- and, as a cohort, these models are better at object-rendering than text-rendering, and handle material/color/size attributes better than count/shape attributes.
Специально для кальсоненки, чтобы он больше узнал о пользе поедания стекла: Stanford выпустил специализированную маленькую модель, обученную на пабмеде.
https://huggingface.co/stanford-crfm/pubmedgpt