>>/94667/
Посмотри в сторону опенсорсных моделей, llama, falcon, pythia, gptj, pygmallion.
У многих из них есть варианты с малым числом параметров, которые теоретически можно запустить на одной мощной видюхе типа 3090 или 4070.
Правда они все одноязыковые, конечно же.
Вот какой-то гайд на ютубе нашел, чувак ставит falcon и какую-то ui приблуду для удобного взаимодействия с ним
https://youtube.com/watch?v=Coj72EzmX20
Сам пока не пробовал пердолиться, надо будет заняться как-нибудь. Вряд ли там сильно сложнее чем поставить SD.
Если у тебя йоба боевая станция с пачкой из 4-8 топовых видюх, то наверное можно попробовать и полные модели с большим числом параметров, вроде даже есть многоязыковые.