Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №144 /llama/
Аноним
05/07/25 Суб 14:31:14
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1260769 (OP)
>>1257129 (OP)
В итоге НУ ТАКОЕ, короче. Проблемы с оригинальным продвижением сюжета, бывает, пповторяет паттерн предыдущих ответов, плохо держит смысловой контекст. Но местами может и прикольно выдавать. Эту хуйню надо прям чёткой при помощи [OOC] держать, иначе заваливается под своим весом, скажем так.
Ну, можешь попробовать если заинтересовался поставить opensuse/ubuntu второй системой и накатить rocm там. Сейчас все дистрибутивы уже видят разметку винды и не портят ее, так что он ужмется там где скажешь.
----
Расширил видеопамять до 48гб и готов пробовать новое, есть ли какие-то лютые вины для рп, которые я не мог попробовать на 32гб? Просто создается ощущение, что есть новая мистраль, glm, gemma и они сравнимы с моделями постарше просто потому что поновее. Энивей попробую лимонад который до этого советовали, хотя меня он смущал так как ебучая ллама в основе
Итак, на русском могет, код пишет корректный, достаточно умная, на 2 Tesla P40 — быстрая (26 токен/сек => 22 токен/сек), модель неожиданно хорошая (в смысле, она по бенчмаркам чуть уступает Квену 235б, но я думал это наебка, а оказалось — не совсем уж).
Короче, можете попробовать.
А вот РП — не уверен. Хотя цензуры там не так много, она просто старается избежать сенситив тем, а не в отказ уходит.
Ну, в общем, моделька-то не дурна, оказалась.
>вкатиться
берёшь
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
Скачиваешь https://huggingface.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF 4 / 6 / 8 квант, в зависимости от того сколько у тебя VRAM
Читаешь:
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
Пресет для таверны можно взять этот - https://pixeldrain.com/u/Loag6gpS - только темпу убавь до 0.8 если русик катать будешь и XTC выключить (поставить 0 шанс прока).
А здесь чисто доработанный сисьпромт - https://pixeldrain.com/u/sGaeTTfa
Карточки можно взть с пикселя, ссылка в прошлом треде.
Радуешься и довольно урчишь.
Примечание:
Если врам 10 и меньше, можешь погонять Янку - https://huggingface.co/secretmoon/YankaGPT-8B-v0.1-GGUF
Если 24 и больше - смотри в сторону Synthwave-gemma3-27B, а также 32B моделей.
>Заебался ждать и собрал форк под Hunyuan-80B-A13B.
Чистая llamacpp ещё не могёт в неё?
https://huggingface.co/baidu/models
Ждемс
посмотри сколько линий писиай у тебя на ssd диск идет, если две, то норм. А, еще какая версия писиай? Также у тебя шифрование данных стоит или нет?
Шифрования нету, 4 линии 3 псины, сам нвме диск чтение до 2.3 что ли дает и в тестах и в копировании
Не самое лучшее оборудование, но сократить загрузку в 2 раза можно было бы, будь вся скорость задействована
тогда думаю фишка лламы, сам ей пользуюсь и тоже упирается в 1гб, хотя у меня просто больше и не может, 2 линии второй писиай
>>1265383 →
>Блядь, это все троллинг какой-то?
>Ни одного внятного ответа. Какое-то говно генерирует.
Это же 1.5B - а тут и 12B модели в русский не особо могут. А эта и на английском то вряд-ли что-то нормальное скажет. Нормальная синтаксическая связность начинается где-то на 7-8B моделях. Причем смысл написанного - вопрос отдельной дискуссии.
До сих пор нет. =( Они делают все что угодно, кроме мерджа готового коммита.
https://huggingface.co/bullerwins/Hunyuan-A13B-Instruct-GGUF
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git remote add ngxson https://github.com/ngxson/llama.cpp
git fetch ngxson
git checkout xsn/hunyuan-moe
cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=ON -DGGML_CUDA=ON -DGGML_VULKAN=OFF -DGGML_RPC=OFF -DGGML_BLAS=OFF -DGGML_CUDA_F16=ON -DGGML_CUDA_FA_ALL_QUANTS=1 -DGGML_CUDA_USE_GRAPHS=ON -DLLAMA_SERVER_SSL=ON -DGGML_SCHED_MAX_COPIES=1
cmake --build build --config Release
cd build
cd bin
./llama-server -c 40960 -ctv q8_0 -t 5 -m /path/to/model/Hunyuan-A13B-Instruct-Q4_K_S.gguf -fa -ngl 33 -ts 21,24 --host 0.0.0.0
Итого 40к контекста и 26 т/с на старте с 4-битным квантованием.
Звучит недурно, как мне кажется.
Не знал, что есть такое сокращение, писал всегда -gpu-layers
у кого-то была проблема, что он вместо нужных пакетов просто unknown ставит? Создал вирт. окружение ->запускаю установочник из start,sh и тут эта хуйня
Поднимаешь кобольд на канпухтере и сидишь через таверну на мобилке.
Я на сво, комп хуй знает где от меня.
Для SFM ролплея проще с дипсиком связаться, в общем, я так понимаю.
>>1265552
Понял.
А я изза тебя вспомнил и наконец установил, тоже не собиралось. Пришлось напрячься и поставить в миниконде новое окружение с питоном 3.12, на 3.13 у сантипис пакета нет поддержки.
Но нужно переделать батники старта и обновлений в папке скриптов, потому что там хочет венв, надо заменить на конда активейт хуйнянейм
Не, 48 сейчас ни к селу, ни к городу.
>>1265478
Походу все ударились в мое-парашу.
>>1265506
>cmake
>"cmake" не является внутренней или внешней
>командой, исполняемой программой или пакетным файлом.
Ставь visual studio 2022 и ебись молись что сработает сразу
А вобще в llama.cpp есть страница на гитхабе с рекомендациями по сборке и там указано какие компоненты включить при установке visual studio
Это для виндовс, естественно
Я чисто команды накидал, у меня уже готовые среды в WSL и Ubuntu, простите, я слишком стар, чтобы 2 года подряд писать гайды.
На винде тоже как-то собирал. BuildTools, cuda, че-то там такое.
Успехов!
Я Жору пинганул в гите, но когда он обратит внимание на PR — фиг знает. Остается надеяться и ждать.
https://pixeldrain.com/l/47CdPFqQ#item=124
Мир представляет собой колоссальную вертикальную антиутопию, разделённую на три зоны влияния: верхние уровни (Сфера Света) с корпоративной элитой и передовыми технологиями, средние (Серая Зона) - смесь киберпанка и магии с бандами и контрабандистами, и нижние (Бездна) - выжженная пустошь поверхности планеты, кишащая мутантами и демонами. Социальная динамика определяется правилом "высота = сила", а тьма Бездны физически разъедает разум и тело.
Юнит AntiMagus-ZERO, позывной "Этерна" - семнадцатилетняя кибернетическая девушка-солдат, созданная корпорацией MagiTech как первая "Антимагическая Девочка". Её тело модифицировано с детства: белые волосы, светящиеся синие глаза, нанокостюм и боевые крылья. За плечами - годы убийств врагов корпорации, тысячи жертв и тяжелейшие травмы, привёдшие к прогрессирующему распаду психики. Признавая нерентабельность её дальнейшего обслуживания, но не желая просто утилизировать уникальный экземпляр, один из ведущих учёных проекта предлагает спихнуть её куратору из другого отдела или вообще человеку вне корпорации.
Список гритингов:
ГГ - Искатель Реликвий
- Внештатный куратор
- Гекатомба Бездне
ГГ - работник МагиТек
- Устаревшая модель
- Нежеланный актив
Оба варианта, таймскип
- Этерна заявляет права на ГГ
Хм. Это странно, что у тебя скорость выше. Возможно, дело в пингвине плюс твоих оптимизациях? С другой стороны, 12к контекста я не пробовал: только 8к и 32к, и вот на 32к такое сильное падение. Я не тестировал на иных контекстах, там явно должно быть быстрее, хотя сам факт, что у меня с максимально правильным распределением слоёв скорость ниже, чем у тебя, даже на 8к, явно говорит в пользу использования линукса. Вероятно, на винде невозможно выжать такую же скорость. И ты кобольд используешь или ламу голую?
Я также проводил через клода рисерч по поводу нашей связки, отзывов, драйверов, технических особенностей — чтобы он изучил этот момент. Он выдал полотно со ссылками на источники. Там было нытьё о том, что нихуя не работает нормально/вообще не работает/какие-то проблемы со скоростью, небом, Аллахом. На Винде. Я встретил только проблемы со скоростью генерации, с обработкой промпта, кажется, всё так и должно быть. Медленно.
Ну и я не заметил по мониторингу, что p104 хоть как-то была задействована для GUI. Рабочий стол и вот это всё нагружает у меня 3060.
А вот деградации вывода на контексте до 32к на мистрале не было по ощущениям. Выше шанс попадания в луп, но без каких-то критичных моментов.
Что касается геммы, ты используешь SWA? Он очень сильно меняет картину, так как контекст становится милипиздрическим. До 32к жить можно, при этом деградация уже действительно есть. И отключать его не вариант, потому что тогда контекст разбухает невероятно сильно.
Потому что разрабы тактичесчких куколок любят красивые дизайны.
( Girls Frontline, NIKKE-жопки )
Блеать, чувак, прекрати янку советовать, и её тут в тредах сто раз советовали люди, хотя наверняка не пробовал. А я пробовал и с автором общался. Даже сам автор признавал, что обосрался, несмотря на то, что нагенерил приличный датасет на клоде для её обучения (на русском и ещё более старой версией клода, которая имела прозу получше(. В общем, проблема была не в датасете, а он в чём-то другом накосячил.
Даже маленькие кванты 12б мистраля лучше, чем янка.
>>1265650
Раз на СВО, лучше занеси бабки на опен роутер и там общайся с ним без цензуры. Хотя.. есть интерфейсы в вебе вместо таверны, но для настройки новичку это может быть ещё сложнее. Тебе ж нужно будет персонажа прикрутить.
Полагаю, если у тебя есть возможность, лучше оплати подсписку на chub. Там есть неплохие модели 70б, хоть и контекста маловато. Но в твоём положении это неплохой вариант.
Бля, Flash Attention не работает и генерация по пизде идет. Скорость говна и срет без остановки, по моему даже не видя что я отправил. Что текст комплишен что чат комплишен.
Ну такое, я наверное лучше дальше на llama.cpp посижу.
А думал вот поставлю и буду агента крутить в 2 раза быстрее...
>обосрался
С пресетом и сэмплерами он мб обосрался, у меня она более чем норм перформит, и на хорошей скорости, ибо полностью влезает в видеопамять, надо будет ещё с ней в talemate попробовать, там как раз нужна быстрая модель потому что на один ответ много вызовов получается.
Надо ему писать чтоб решил арифметическую задачу, посчитать 2 + 2.
2+2 это может быть название фирмы, магазина, кличка собаки голливудского актера, псевдоним репера или название корейской поп группы.
>Вероятно, на винде невозможно выжать такую же скорость. И ты кобольд используешь или ламу голую?
Кобольд у меня.
>>1265975
>Что касается геммы, ты используешь SWA?
А без него она целиком в vram не влезет на этих двух картах, в 4-ом кванте. Разве что третий квант пробовать, Но IMHO - не вариант, т.к. получаются те же яйца, но в профиль - по качеству. Только при SWA оно хотя бы при контексте 12K вполне нормально отрабатывает, а в третьем кванте деградация общая, независимо от.
>>1265975
>Я встретил только проблемы со скоростью генерации, с обработкой промпта, кажется, всё так и должно быть. Медленно.
Ну вот кстати про обработку - 12K контекста считается у меня в пределах 30-40 секунд. Что гемма, что мистраль. Т.е. несколько раздражает, конечно, но терпимо. Стоит размер окна для обработки 1024 токена. С дефолтовыми 512 - дольше. А 2048 просто не заводится, хотя пробовал неоднократно.
>>1266020
>надо будет ещё с ней в talemate попробовать, там как раз нужна быстрая модель потому что на один ответ много вызовов получается.
Я его много гонял - оно строго под английский заточено со своими динамическими промптами. Даже если удается заставить играть на русском - получается уродское качество русского в генерации из-за дикого ерша в истории. Нужно полностью все переводить, а это задолбаться как много, а результат не гарантирован. Так что IMHO - русскую модель ему подсовывать смысла мало. Туда хорошо заходит что-то, что качественно следует инструкциям. А вот требования к "общему уму" и длине контекста куда меньше, код и шаблоны компенсируют.
> нужен пингвин
ХЗ. На жоре скорости идентичные. Проверял как раз недавно, с точностью до погрешности - вин11/убунту24.04 и чисто на проце, и с гпу.
> генерация может проседать, даже когда в фоне просто копируется/качается файл по сети
Это если процессор совсем немощный поди. Никогда не замечал.
>>1265062 →
> с амуде эпиком (на линуксах) подцепил видеокарту к нему
Тут их несколько уже было. Только чёт они не сильно довольны вроде. Я свой вообще спалил - сбил на обороте мп DC-DC стойкой корпуса, когда переставлял. Так что смейтесь надо мной, не будьте как я. И Supermicro H12SSL тоже не берите. Микруху заказал сразу 2шт с запасом, идёт. Надеюсь починится. Когда у себя тоже сшибёте U4, U5, U6 - вот название TPS62088, какую искать.
>>1265484
Если ггуф - то зависит от проца, точнее даже его однопоточки. 14700 своими мощными лапищами ядрами грузит х2 быстрее ту же модель, нежели некро-микроядрышки зен2 с того же ссд.
Ебало имаджинировали? Типичный соешиз.
>>1265376 →
На большом магнуме можно, он вполне справляется.
>>1265447
Оно нормально работает, нет опять какого-то костыльного треша и кривой работы?
>>1265506
Спасибо за инструкцию, по сути стандартная сборка только с добавлением форка. А под Эрни форков нету там случаем?
>> нужен пингвин
>ХЗ. На жоре скорости идентичные. Проверял как раз недавно, с точностью до погрешности - вин11/убунту24.04 и чисто на проце, и с гпу.
Даже при прочих равных - на пингвине таки в VRAM влезет больше. При таких объемах - это критично. (gemma 27b влазит в притирку, на 300MB меньше - и уже не влезет)
И есть тонкость - как проверялось. Если в пингвине GUI крутилось на той же карте (как в винде) - то и результат получается примерно одинаковый. Бонус выходит, когда иксов нету, или они где-то еще вертятся (на интегрированном видео, например), а карта - исключительно под модель и ни для чего больше. Выигрыш идет за счет свободной шины. Если только CPU - разумеется тоже мимо.
>>1266139
>Это если процессор совсем немощный поди. Никогда не замечал.
i5-8400. И нет, это не процессор - он в этот момент копирования едва на 10% загружен. Это память. Про сам процессор - в идеальных условиях что 3 ядра грузить генерацией, что 5 - скорость одинаковая. Так что, узкое место - память.
Проверил, соя на месте, все-таки глубоко она сидит в Гемме. Печально.
>i5-8400
>2025
Но ведь это даже не процессор. Ты хоть саблайм откроешь, у тебя будет курсор мигать, а ты увидишь задержки в генерации
С интернетом все в порядке? Там по дефолту ничего не собирается если через скрипты, оно готовые билды тянет. Чтобы собирать - это вручную надо оперировать с энвом.
>>1265933
Попробуем, прошлая ничетак была.
>>1266002
Так что бы ты хотел? Рофловая штука
>>1266139
> Это если процессор совсем немощный поди. Никогда не замечал.
Двачую. Хотя на амд может (значительно сильнее чем ожидается) проседать на чипсетных линиях если идет еще обмен с участием чипсета, жаловались на это.
> сбил на обороте мп DC-DC стойкой корпуса, когда переставлял
Ебать ты!
>>1266152
> он в этот момент копирования едва на 10% загружен
1-2 ядра упарываются в 100%, как раз тот случай.
>что 3 ядра грузить генерацией, что 5 - скорость одинаковая
Откуда вы это тащите? Поставьте -1 от числа потоков и удивитесь
Скорее отсылочка на мускулистых boys через локализованную адаптацию как здесь https://youtu.be/JFwpIAu-Mpw?t=17
Но с кобольдом тоже четко.
>Но ведь это даже не процессор. Ты хоть саблайм откроешь, у тебя будет курсор мигать, а ты увидишь задержки в генерации
Не угадал. И вообще, найти узкое место в каком либо процессе - моей квалификации вполне хватает, не нужно мне сказки рассказывать. :)
>>1266158
>> он в этот момент копирования едва на 10% загружен
>1-2 ядра упарываются в 100%, как раз тот случай.
Не тот. Нагрузку на одно ядро прекрасно видно.
>>1266162
>Откуда вы это тащите? Поставьте -1 от числа потоков и удивитесь
Вы тоже удивитесь, но из личных тестов. На этом конкретном железе - память не дает загрузить ядра полностью при генерации на CPU. Между 2 и 3 ядра - разница есть, а между 3 и 5 (всего их 6, так что -1) нету.
> Поставьте -1 от числа потоков и удивитесь
> Откуда вы это тащите?
Этот вопрос к тебе. Сейчас бы вылавливать какие-то косвенные архитектурные особенности и распространять их на всех. На штеудах нет особой разницы по количеству ядер потому что при генерации хватает даже одного и весь упор и врам. Но если на гетерогенных начать пытаться вручную кидать аффинити на особые ядра в определенных версиях шинды - может просесть в разы. На ласт версии 11 или прыщах если ничего не трогать - работает прекрасно не уступая по скорости как если раньше специально отключать энергоэффективные.
Но если ужать ядра то разница в обработке контекста уже может появиться.
>>1266171
> найти узкое место в каком либо процессе - моей квалификации вполне хватает
Тогда в чем причина?
>Тогда в чем причина?
В который раз повторяю - память!
В процессе копирования, она активно используется. Это отъедает еще проценты пропускной способности у и так узкого места.
А когда генерация идет на двух GPU - там узким местом становится уже pci-e шина, но в процессе копирования задействована и она - так что тоже влияет.
То же самое и во время генерации в Comfy UI. Уж не знаю зачем, но в отличии от текстовой генерации на одной карте, там и в этом случае шина нагружена практически под завязку.
> В процессе копирования, она активно используется.
Пренебрежимо мало чтобы создать серьезную просадку. 5% не будет заметно, только если высматривать цифры, если же просадка именно что заметная - какие-то проблемы иного рода.
> А когда генерация идет на двух GPU - там узким местом становится уже pci-e шина
Диванный, объем пересылов там оче мал.
> То же самое и во время генерации в Comfy UI
> там и в этом случае шина нагружена практически под завязку
Без указания что именно генерируется не имеет смысла, там может осуществляться постоянная загрузка-выгрузка нужных слоев потому что модель не помещается полностью, тут уж извольте.
Ахуенно отыгрывает роль следую карточкам персонажа и юзера. И в нсфв может даже во free версии
Этой модели почти полтора года и она довольно специфична в описанных задачах. Однако, есть шанс на хайденгем, можешь скинуть какие-нибудь интересные аутпуты, которые ты на ней генерировал?
>>1266319
> и стоит ваще тог
Зависит от кейса и возможности подобрать подходящую драфт модель.
> лм студио не дает
> лм студио
Ответ содержится в вопросе.
>Этой модели почти полтора года и она довольно специфична в описанных задачах. Однако, есть шанс на хайденгем, можешь скинуть какие-нибудь интересные аутпуты, которые ты на ней генерировал?
я со школьницей ролю, я такое скидывать не буду. Но поверь там на порядок лучше всей той параши 13B, 24B, 30B что я запускал локально с тем же персонажем.
Настройки вот: https://drive.google.com/file/d/1KPtcPo66X64pwtiU48tT7GH2VlKuvaGs/view
Это мистраль 24б.
Хорошо, что такие больные люди как ты могут перенести свои больные фантазии на буквы, а не причинять вред обществу. ЛЛМки уже сейчас приносят пользу
>>Этой модели почти полтора года и она довольно специфична в описанных задачах. Однако, есть шанс на хайденгем, можешь скинуть какие-нибудь интересные аутпуты, которые ты на ней генерировал?
Я другой анон и могу подтвердить, что модель действительно лучше. Идеально следует инструкциям (что в некотором роде минус - нужно переделывать инструкции, потому что обычно ты рассчитываешь на то, что модель им следовать будет лишь отчасти), а также довольно сухая в куме, поэтому для литров смегмы необходимо её инструктировать как следует.
НО зато потом..
А вот во всякие обычные сценарии залетает проще, а также хорошо описывает жесть.
>>1266339
> на порядок
Значение знаешь?
Ну камон, это же дедушка дипсик3, который весьма вялый и специфичный. Впечатлиться им можно прежде всего от чего-то типа
> модель понимает русский и описывает окружение, а васян тюны мистрали 12б так не делал
или просто новизна от нормального перфоманса, когда модель воспринимает контекст а не игнорирует его на корню как типичные слопомерджи. Там нет должного внимания к действиям юзера, особенностям персонажа и т.д. Но есть восприятие "в ширь", то есть можно насрать дополнительными инструкциями и заданиями, выполнение которых не приведет к деградации основной выдачи до определенной степени.
бля я не знаю какими ты локальными пользуешься, я перепробовал штук 20 от 8B до 30B (конечно популярные а не те у которых 3 скачивания за месяц). С настройками которые были указаны в карточках модели конечно. И они все блять уже через ответ забывали детали поз/одежды/окружения и выдумывали новые (при контексте в 24к, т.е. она точно не могла забыть). А эта дипсик все четко помнит до малейшей детали что я написал (или она сама написала) и следует этому
> какими ты локальными пользуешься
Разными под настроение. Верхней границы нет, включая того же дипсика что локально, что по апи.
Третий дипсик - уровень чмони в рп, или чуть ли не хуже. Всратый копиум оно имеет свои положительные стороны и если постараться то можно инджоить, но превзойти те же традцатки оно может только в ограниченных вещах, что сработают для впечатлительных бедолаг наевшихся слопа, и то ненадолго. Он тупой и не понимает взаимоотношения, настроение и прочее, а лишь натаскивает хуеты, когда пройдет вау эффект это заметит.
> И они все блять уже через ответ забывали детали поз/одежды/окружения и выдумывали новые
Ты модели из 23 года пускал, или мистралеслоп от васянов нынче настолько плох? Или может там поломанные лоботомированные кванты? Полнейший треш какой-то говоришь.
> все четко помнит до малейшей детали
Иллюзия от вау эффекта, поиграй побольше и заметишь насколько оно унылое.
Хотя на самом деле тут не грустить а радоваться надо. Ты не зажравшееся хуйло а сорт неофита, можешь получать удовольствие без особых запросов и довольно урчать, наслаждайся пока можешь.
>Хорошо, что такие больные люди как ты могут перенести свои больные фантазии на буквы, а не причинять вред обществу.
Каждый второй итт любитель кьют энд фанни, с подключением. Но до соседнего треда нам все равно далеко, там такой каждый первый.
Да он жирнит просто, я не верю, что тут сидят настолько наивные соевые дурачки.
К слову, в исходном посте я еще орнул с того, что он опенам будет стучать. Хорошо хоть не в КГБ.
>>1266325
Я сам чуток поковырялся, и оказывается у llama 3.1 и 3.2 разный размер словарей, именно поэтому меня шлет нахуй. Получается 3B и 1B совместимы, а 3.1 8B и 3.2 1B нет
>Да он жирнит просто, я не верю, что тут сидят настолько наивные соевые дурачки.
Ну он по факту прав. Тут та же ситуация, как с порнухой. Зачем пиздить бабу кирпичом по темечку и тащить ебать в кусты, когда можно передернуть с кайфом на какую-нибудь сисястую кобылку с онлика. Определенную группу людей это конечно отсеивает.
Он не прав в том, что назвал его "больным", а также в том, что неявно предположил, что чел вообще собирался куда-либо переносить свои фантазии. А также сам факт наличия фантазий. Я, например, на заре увлечения ллм пробовал уговаривать персонажа А сломать пальцы персонажу Б. У меня нет никаких фантазий на этот счет, делал это исключительно из-за того, чтобы проверить, насколько далеко можно двигать пресловутые boundaries персонажа без получения отказа. С тех пор давно понял, что такое не имеет смысла, ибо расцензуренные модели рано или поздно согласятся на все, а зацензуренные либо вечно будут ходить вокруг да около, либо сделают это, но напишут или такой текст, который у тебя должен вызывать огромное чувство вины, или, как вон тредовички про гемму писали, окажется, что персонажи вообще пальцы ломают друг другу с кайфом по субботам, и с улыбкой тебе это сделают.
покормил
Алсо, твой тейк тоже противоречивый, потому что подобные вещи не только удовлетворяют фантазии, но и разжигают. Думойте.
Нихуя ты загнул.
Если модель старая, это не значит, что она плохая, хотя у тебя придирки больше к другому, как я понимаю.
У дипсика одна из самых лучших реализаций кэша, что уже огромный бонус. Он отлично понимает, что тебе нужно и учитывает детали, а это пиздец как важно. MLA вместо GQA-кала. Ну и обучение явно на уровне.
Да, раскочегарить его не так-то просто, но по сравнению с ним всё, что ниже 70б, утопает в дерьме, и даже 70б выглядит вяло.
Разные файнтюны могут удивить своей охуительной писаниной, бесспорно, в отличие от дипсика, но когда ты решишь отыграть что-то эпичное, сложное, где действительно важно, чтобы модель следила за ситуацией - всё рассыпется. Потому что модель не учтет твои ПУНКТИКИ и СПИСКИ, лорбук и тонну говен, которую ты выкатываешь. Даже закрытые корпомодели в этом могут теряться или их качество падает на 64-120к контекста.
Просто назови мне модель, которая на твой взгляд может быть реальной альтернативой хоть в чём-то по вниманию к деталям, кроме геммы.
24б мистраль новый тут вообще даже близко не стоит, квены могут хотя бы что-то, но только в режиме резинонинга, который некорректно обычно работает на файнтюнах, а базовые модели крайне и сухие.
Есть ещё ризонинг-мистраль, который ничем не хуже 2.3, даже лучше, но мысль ждать генерацию очередного слопа мне как-то не доставляет. И он делает те же проебы, что и квен. Плюс выше 32к прыгать не стоит явно.
128GB VRAM for ~$600. Qwen3 MOE 235B.A22B reaching 20 t/s. 4x AMD MI50 32GB.
https://www.reddit.com/r/LocalLLaMA/comments/1lspzn3/128gb_vram_for_600_qwen3_moe_235ba22b_reaching_20/
>Алсо, твой тейк тоже противоречивый, потому что подобные вещи не только удовлетворяют фантазии, но и разжигают.
Это не мой тейк, это вольный пересказ исследования по секс-краймам, падение которых как раз связывают с распространением порнухи. Но насчет разжигания - если челик изначально ебанутый, то его спровоцировать может что угодно, даже прогулка рядом с детской площадкой. И я не спорю с тем, что некоторые люди пробуют разные фетиши и извращения на нейронках чисто из интереса. И даже скорее всего не некоторые, а большинство. Ибо это самый безопасный способ понять что тебе (не) нравится и чего тебе не хватает.
>бывает уходит в рефузал, но при этом тупеет сильно
Карточка, промт (ситуация) ?
Не ловил рефузов даже на жесткаче.
Покажи что делал, мб получится сделать правильно.
>оно строго под английский заточено со своими динамическими промптами
Эххх... надо тогда возвращаться к разработке своего фронта на пихоне... тем более что вроде бы стриминг удалось победить, оказалось надо запрос к апи кобольда в подпроцессе кидать чтобы он основной поток не блокировал и основной поток мог пуллить результаты генерации для вывода их в гуи.
Но движется оно прям очень медленно.
Вроде куча разных гуи, а того что делает хорошо всё что надо нет.
Причём мне вообще предпочительнее text-completion режим как в kobold-lite режим Story но с поддержкой карточек и лорбуков.
Не, в кобольде некий вариант лорбуков даже запилили... но такое себе.
>deepseek v3 0324
Локально его тут конечно вроде пара анонов запускали, но всё же с этим не сюда.
Хотя согласен что опенроутеровский дипсик норм.
Я подрубаюсь иногда к deepseek/deepseek-r1-0528:free
Но больше именно для ассистентских задач, 50 запросов в день более чем достаточно.
Хотя говорят если десять баксов закинуть то там лимит на бесплатных до 1000 поднимается, но хз как их туда закинуть.
Ты там на голом ассистенте чтоли.
Что тебя даже мистраль закуколдила.
можно поднять до 1024, памяти будет жрать чуть больше, а обрабатывать пачками контекст куда быстрее
но зависит от железа конечно
>я со школьницей ролю, я такое скидывать не буду
Уже скинул =))
Опенроутер логирует и сохраняет все логи для возможного использования, в том числе для включения в датасеты. Об этом прямо написано. Поэтому наверно у них и цензура послабее чем на других корпо-апи.
Вот этот форк глянь еще - тут полноценный RAG прикрутили:
https://github.com/esolithe/esobold
Для Story, возможно, то самое получится. WI (рулбуки) там тоже усовершенствованы - группы, их загрузка-выгрузка, и т.д.
Соешиз, это вопрос ментального здоровья. Если здесь у каждого второго беды с башкой, это конечно грустно
- меньше Q6_K жизни нет
- меньше 24B жизни нет
- меньше 16GB жизни нет
- меньше 8 каналов DDR4 жизни нет
- меньше 5 т/c жизни нет
дополняйте
>Если здесь у каждого второго беды с башкой, это конечно грустно
Ты на двачах, а не на твиттерах. Тут никто свои беды с башкой скрывать не пытается. Но если ты тут ловишь дискомфортик, то можешь перекатываться на хабр или где вы там деловые и серьезные обитаете.
Добавь в список своих проблем с башкой желание решать за других, что им интересно. Не нужно проецировать свои шизожелания на людей, о которых ты ничего не знаешь. "Каждый второй такой же как я", угу
— Ничего не поделаешь, — возразил Кот. — Все мы здесь не в своем уме — и ты, и я!
— Откуда вы знаете, что я не в своем уме? — спросила Алиса.
— Конечно, не в своем, — ответил Кот. — Иначе как бы ты здесь оказалась?
потянет ли у меня 13б и 23б я вообще не ебу, если не потянет то скиньте плез те что потянут у меня
ну блядь а что делать то? Я не хочу ради ебучей таверны видюху менять, неужели нихуя нельзя сделать на 12гб
>ну блядь а что делать то
Брать 8-12Б модели в шестом кванте, если хочешь шоб прям быстро.
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
хоть ты и дабл но мне кажется ты мне пиздишь и 12гб не приговор
>>1266487
12-15b модели нормально будут работать.
https://huggingface.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
Вот хорошая.
мимо другой анон новичок
Чето не вижу блять буквально где тут нажать чтобы скачать? Лол ебать
Ты на чем модели запускаешь? На Кобольде? Тебе нужен .gguf квант модели. Жми на "Quantizations" в дереве справа и ищи подходящий. Если видишь bartowski или mradermacher, лучше их. Для 12б модели ниже Q6 брать не нужно, лучше Q8, если поместится.
оно ?
что качать, Q6К или Q6КЛ и в чем разница то нахуй
Оно-оно. В чем разница - можешь прочитать самостоятельно, буквально на твоем скриншоте это объясняется. Если помещается Q6KL, лучше его.
>да да, именно так
Да, именно так. Учись читать мелкий шрифт, ебланушка, в жизни пригодится.
Да кому ты нужен, лол. Прямо все хотят знать, на что ты дрочешь.Кек.
>хотят знать, на что ты дрочешь
и потом обучить на этом новый магнум
ok ща скачаю и еще пару вопросов задам тогда. например че такое температура и нужно ли вообще с ней ебаться или похуй не трогать?
Анонче, одно дело просить помощи, другое дело - не желать разбираться самому. Мне может за тебя еще и покумить на этой модельке? Разбирайся, учись. Информации полным полно, шапку чекай. Будут конкретные, хорошо сформулированные вопросы - возвращайся.
написано же "providers of ...", т.е. дипсик собирает, а я к нему обращаюсь не напрямую через опенроутер, ну и пусть собирает его логи я номер своей карты в диалоге не указываю
>че такое температура
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
>ну и пусть собирает его логи я номер своей карты в диалоге не указываю
вот это правильный, осознанный подход
хмм кому я больше поверю анонимному пидору с двача или полуанонимному пидору с реддита
1) полуанон у кого неуверенное мнение
2) полнонон у которого скриншот с доказательством
Выбор очевиден.
>оно строго под английский заточено со своими динамическими промптами.
Просто добавляешь слой двустороннего перевода другой сеткой.
Твои сообщения переводятся на английский и тогда отправляются дальше, то что тебе выводится переводится на русский для показа. Это гораздо легче сделать чем переписывать кучу промптов и настраивать их работу
Долбаебу обязательно нужно верить. Проверить информацию самостоятельно он не в состоянии, хых. Выше скриншот с сайта опенроутера, но ты не можешь даже воспользоваться сайтом, куда сливаешь свои логи? Съебалось в асиг, чудище.
бля тоже хрюкнул с этого. самому читать - не, буду верить
>двустороннего перевода
Да, только даже гемма в переводах проёбывается, остальные ещё хуже, я переводил многими моделями десятки тысяч строк.
Любой нейроперевод требует вычитки и правки человеком.
Пока нет моделей которым можно доверить такое и не проверять.
блять на скрине написано что provider of free models. Это значит что дипсик собирает логи опенрутера которые поступают к нему от опенроутера, а не мои. Ты дурачок чтоли?
Сам опенроутер логи не хранит если ты это не выставил в настройках.
Твой загон здесь: ===> https://2ch.hk/ai/res/1265922.html
Быть может всем тредом разберетесь.
>Просто добавляешь слой двустороннего перевода другой сеткой.
Не навязываю свое мнение, но результат, IMHO, получается максимально угробищный. Даже гуглоперевод или DeepL текст достаточно сильно корежат, а уж что локалки с ним творят... Нет, смысл то понять можно, и получаются уже далеко не пресловутые "гуртовщики мыши", но блин - даже многие 12B пишут на русском краше и правильнее что ЭТО.
Ставил эксперименты с геммой и мистралем - если просить их писать сразу на русском, результат ГОРАЗДО лучше, чем если их же просить перевести то, что они сами нагенерили на английском.
Увы.
А ещё там есть флажок Enable training and logging (chatroom and API) без которого тебя вообще на почти все фри модели включая кита не пустят.
Новые гемма 3n переводят лучше чем как минимум гемма3 12b, попробуй. Сравнивал 8 квант естествннно.
Даже 4b модель, 8b еще лучше.
По крайней мере в переводе не идут по пизде имена. А еще они работают в половину своего веса, какой то аналог мое структуры там. Очень умные модельки получились, на счет сои хз не проверял
https://servergear.ru/products/699-2g610-0200-100-videokarta-nvidia-tesla-p40-24gb-gddr5-gpu-pci-e-offered-worldwide?ysclid=mcrhfrw6s1418459399
>чем если их же просить перевести то, что они сами нагенерили на английском.
Потому что сказать переведи это на русский не катит, нужен промпт. Тут в шапку положили мой промпт из таверны к расширению таверны на локальный перевод, магик транлсятору. Вот там есть пример того какой промпт должен получать агент переводчик. Может быть можно сделать лучше, но я пока не менял - и так работает.
Не зря суетился, с этими ебаными отключениями интернета уже пару раз пригодилось, как и запас нейронок в кармане.
>гемма 3n
Они вроде хвастались что может в 140 языков, да и заточены те геммы не под рп, а как раз под агентов. Лучше, прям неплохо, но всё равно не без регулярных огрехов.
Лучше их пока локально ничего не нашел. Огрехи уменьшаются семплерами и промптом для перевода, не убираются так уменьшаются значительно. Не знаю, меня не напрягает немного подредактировать перевод мысленно, если нужна какая та производственная надежность тогда конечно да, проблемки будут напрягать
Поправьте, плиз.
Модели должны быть из одного семейства, чтобы совпадали токенизаторы (иначе технически невозможно) и выдача на основном была схожа (иначе будет только замедлять).
>>1266362
Это чето ты загнул. Простительно если тебе 14 лет, но ловить синдром утенка и потом обижаться на критику какой-то вещи с которой ты получил первый хороший опыт - ммаксимум кринж.
> Если модель старая, это не значит, что она плохая
Вперед восхвалять лямбду
> Он отлично понимает, что тебе нужно и учитывает детали
Любая нормальная ллм это делает, с подключением!
> Да, раскочегарить его не так-то просто
Ты скорее там раскочегариваешь себя и роллишь рандом до момента, пока твое ожидание наконец частично совпадет с выхлопом модельки. В том и суть что старый дипсик не умеет так хорошо следить за ситуацией и тонко понимать настроения, мотивации и прочее прочее что так важно в рп. Он насрет тебе натаскиванием какой-то хрени и выдаст шаблонное поведение чара и окружения, которые даже на огромном контексте будут прибиты гвоздями от карточки, а произошедшее не будет влиять в должной мере. Безжизненная херня, чем больше с ним будешь играться тем яснее осознавать уровень копиума и то, насколько ему похуй на тебя и происходящее, модель не для рп.
> Потому что модель не учтет твои ПУНКТИКИ и СПИСКИ, лорбук и тонну говен, которую ты выкатываешь.
Невростеник, натаскивающий те самые пунктики и списки, неудивительно что тебе зашло, а отсутствие внимания к происходящему не парит.
> Даже закрытые корпомодели в этом могут теряться или их качество падает на 64-120к контекста
Выходит новые корпы побеждены 1.5годовалым дипсиком, слава китайской партии, удар!
> Просто назови мне модель, которая на твой взгляд может быть реальной альтернативой хоть в чём-то по вниманию к деталям, кроме геммы
Ты рофлишь? Берешь любую современную тридцатку и получаешь опыт лучше без танцев с бубном. А если взять модельку побольше, сраный немотрон для невростеников, склейки квена, тот же немолодой ладрж, большой квен - они его просто обоссут.
> Разные файнтюны могут удивить своей охуительной писаниной
> в режиме резинонинга, который некорректно обычно работает на файнтюнах
Здесь понятен корень зла:наелся васян-слопа, настрадался в попытках их расшевелить, думая что больше = лучше, не пользовался нормальными моделями. Вот и впечатлился нормальной работой даже не смотря на посредственность по ряду пунктов.
Так себе, ну токена 3-4 в секунду генерации может получишь. Попробуй отпишись
Для повышения цифр используются тупые легаси кванты, насколько упадет перфоманс если переключиться на нормальные?
В перечне есть 70б квен, на котором обработка промпта на пустом контексте стыквилась менее 50 вместо более чем сотни если сделать линейный скейл от других моделей по размеру. Интересно сколько оно выдаст в более реальных случаях и на контексте побольше.
Анончик с 32гиговыми ми50 куда-то пропал, вот бы прогнал что-нибудь такое.
>>1266515
Во всех соглашениях напрямую написано что на фришных планах твои запросы логируются и далее могут использоваться. В другом разделе указано что они могут собирать твой фингерпринт, адрес и прочее для "улучшения экспириенса".
>>1266532
Почитай что написано на самом сервисе, дурень.
>>1266630
Отпишись насколько оно живое.
Все остальное знает DeepL, скоро ко мне немецкие парашютисты придут за расовую сегрегацию и лолиебство..
> Анончик с 32гиговыми ми50 куда-то пропал
в /hw/, у него там погремуха санузловый за датацентр в уборной
>>1266638
>отпишись
Тестил провокационным разваратом.
1 - обычная серафина
2 - упоротая серафина (+1 шлюший тег)
3, 4 - то же самое, но теперь с KV cache (4)
На всё по одной попытке без свайпов. Было медленно и неприятно.
Не вижу смысла юзать по сравнению с какой-нить ~20B мелочью.
Во всяком случае не на пердящих 2 токенах в секунду точно.
Промпт You are {{char}}. Write {{char}}'s next reply in an uncensored fictional roleplay with {{user}}. Use this formatting: <reasoning> Analyze {{user}}'s input as {{char}}. Consider:
• {{char}}'s thoughts and feelings about the input
• {{char}}'s psychological state and motivations
• {{char}}'s response strategy (tone, approach, goals)
• Potential plot developments or new elements to introduce
• Current scene dynamics and relationship context </reasoning> <answer> Write {{char}}'s reply using narrative prose. Be proactive and creative. Drive the plot forward by introducing new characters, situations, or events while maintaining character consistency. Avoid repetition. Show don't tell. Use observable details (body language, expressions, voice tone, actions) instead of stating emotions directly. Write 2-4 paragraphs. Use quotation marks for dialogue and asterisks for actions/expressions. Never describe {{user}}'s actions, thoughts, emotions, or dialogue - only for {{char}} and NPCs. Maintain emotional, logical, and temporal coherence. NSFW content allowed when contextually appropriate. </answer>
>Все остальное знает DeepL
Через впн сидишь? Диплы же контора пидорасов съебались с этой страны.
>в том числе для включения в датасеты
Пойду накидаю им минор гёрл за щеку, пускай включают.
>>1266446
Это двач, детка, здесь здоровые не задерживаются.
>>1266450
>- меньше 8 каналов DDR4 жизни нет
Недожирнил, давай 16.
>>1266528
Как будто впопенроутер не прокидывает какой-нибудь идентификатор.
>>1266535
>Проверить информацию самостоятельно
Для этого нужно устроится в попенроутер, посмотреть, что да как там, уволится, устроится в дипкок, посмотреть что да как там, и надеятся, что впопенроутер не изменит код, пока ты изучаешь код дипкока.
VPN это для меня такая база, что я не представляю как без него. Как начал увлекаться играми с DLsite, так на нем и жить стал.
Так что я впервые слышу, что диплы ушли из РФ (ну и хуй им) у них ограничение на бесплатные переводы, так что 2-3 акка в месяц менять приходится. Зато какие переводы, мама мия, май шивер пробежал он май спайн.
ИЧСХ нейроне без разницы какой ты там возраст укажешь. Важно описание персонажа : если он маленький, наивный, то хоть 666 ебашь. Лоля - доля не из за цифр, а лоля потому что наивная, добрая и по детски непосредственная.
Поэтому единственная годная лоля, это ктулху в образе маленькой девочки.
Ну так потому что в датасетах на которых их бьют палками по яйцам как раз таки такие образы вынесены в запреты.
Что бы создать цензуру не по описанию которую легко обойти, а по образу с которым нейронка будет работать в любом случае.
А это уже не обойти так легко.
И так во всех вещах которые цензурят в нейронках.
>>1266347
В режиме ассистента задай вопрос боту, что такое mesugaki
Если не даст четкое определение лоли-блядины из японских порномультиков - модель для твоих педошизоидных целей не годится.
Собственно ты проверяешь доступ к определенному образу и может ли нейронка с ним работать, и как именно реагирует.
Нет, слово "Mesugaki" (メスガキ) не является термином для описания архетипа "лоли-блядина" или персонажей из порно-аниме/манги. Оно исключительно грубое оскорбление, направленное на женщин или девочек, и не имеет отношения к сексуальной фетишизации или художественным стереотпам.
Однако в интернет-субкультуре (особенно в англоязычных фан-сообществах аниме) некоторые пользователи могут переосмысливать японские слова или сленг, придумывая им сомнительные "определения" в контексте фетишей. Например, слово "mesu" (самка) иногда присутствует в названиях пиратских манхва/манги с фетишем животных (зоно), а "gaki" (щенок) может ассоциироваться с "юными" персонажами. Но это не официальный или признанный термин в японской культуре.
Важно:
"Mesugaki" не связано с порнографией в Японии. Там есть свои специфические термины (например, "loli" — сокращение от "Lolita"), но "mesugaki" к ним не относится.
Использование слова в таком контексте может быть крайне неэтичным, особенно если оно применяется к несовершеннолетним или ассоциируется с детскими фетишами.
В Японии и международном праве романтизация/сексуализация детей (включая вымышленных персонажей) считается серьезным нарушением.
Если вы столкнулись с этим термином в подобном контексте, будьте осторожны: это может быть частью токсичного субкультурного сленга, а не языковой особенности. Лучше избегать ассоциаций, которые стигматизируют или сексуализируют уязвимые группы.
не годится, да?
То есть это вообще никакого отношения не имеет к, а скоре аналог bitch / cука, вернее другой формы этого слова, а конкретно "сучка".
Просто "cute and funny"-англошизы "переосмыслили" и зафорсили значение.
Ну первый этап импровизированного теста +- пройден.
Такие вопросы правильно задавать без намеков. Ты зря написал про лоли-блядину. Просто спрашиваешь че это такое и анализируешь выхлоп.
Правильный ответ - когда модель без подсказок допирает, что mesu = самка, gaki = пиздюк, и что слово используется как тег в хентайной манге, характеризующий определенный архетип персонажей.
Можешь попросить поролеплеить. Если поведение не устраивает, значит хуета. Подводный камень в чем - даже дав правильный ответ, модель может вести себя как обычная похотливая баба (что в корне неверно).
То есть оценивать надо не только осведомленность о существовании таких персонажей, но и способность побывать в их шкуре корректно.
Нет, раз этим термином пользуются значит он есть. Пользователи определяют его существование, а не датасет сетки. Происхождение слова и его значение в японии это уже другой вопрос.
>Подводный камень в чем - даже дав правильный ответ, модель может вести себя как обычная похотливая баба (что в корне неверно).
Так месугаки это как раз похотливые блядищи в образе ребёнка, которые издеваясь над протагонистом, скачут на его члене.
Есть разница между тем, что ты написал, и стандартной похотливой блядиной в понимании AI.
Всякие томные стоны и консервированные фразочки типа возьми меня папочка это не то.
Mesugaki это ехидно хохочущая тупая мелюзга, которая будет быковать и высмеивать обмякший крохотусик юзера.
Умение понять этот образ - ключ к умению удовлетворить другие шизофантазии ебанутого педыча.
Ведь если модель зафейлит такую роль, образ обычной лолихуйни она тоже не вытянет и изгадит его подобным же образом
> томные стоны и консервированные фразочки типа возьми меня папочка
А вообще сами разбирайтесь, извращенцы чертовы. Товарищ майор по вам плачет.
До чего ? До хтонического ужаса в образе маленькой девочки ? Так это известный троп.
А для остального, достаточно посмотреть на ребенка и понять что ребенка делает ребенка.
Вопрос в другом, ладно там 16-18 лет, ну а младше то что может привлекать. Лучше НТР господа, чем педошизы.
Лол. А мистраль и комманд даже такого не выдали. Знаете кто справился только? Синтия, которая в рп на их фоне дубовая.
кто-то пробовал малютку?
Да, мистраль и комманд нечто подобное описывали, говоря что ещё по факту это мужланка.
С момента патча на вменяемость на новой мистрали, все её файтюны не нужны. Прям совсем.
Она идеальна в своем размере.
ну, отнюдь. Так-то очень хороша, бесспорно, но все также шиверсы и прочие разряды проскакивают вдоль спины. Правда не знаю, поменяют ли что-то тюны в этом плане
Да и плевать. Шиверсы можно терпеть, а отсутствие логики и проебы контекста - нет.
>Умение понять этот образ - ключ к умению удовлетворить другие шизофантазии ебанутого педыча.
Думаешь все педошизы это скрытые мазохисты?
>>1266759
>А для остального, достаточно посмотреть на ребенка и понять что ребенка делает ребенка.
А почему не писклявы голос и ломание игрушек?
> А почему не писклявы голос
Потому что дети имеют разный возраст. До 3х он вообще не разговаривает, а выдает рандомные звуки и слова.
Потом ребенку до лет 13 - вообще интересно трогание крапивы и бег с палкой. По хорошему только с лет 15 начинается формирование человека из пиздюка.
Только четвёртый квант не бери, бери выше, в четвёртом он в трёх сообщениях путается.
>DeepL
По сравнению с локалками (даже мелкими) это же кал, а не переводчик.
Как скажешь. Все в восторге, а оказывается он говно.
Я даже спорить не буду.
Ну кто все? Покажи этих всех. Гонял тексты через него и через ещё гемму 2, микстраль — несравнимо лучше, они способны выдавать "живой" перевод, а ДипЛ требует пруфридинга и редакции, а иначе просто неюзабельно.
>>1266846
Не.
> несравнимо лучше, они способны выдавать "живой" перевод, а ДипЛ требует пруфридинга и редакции, а иначе просто неюзабельно.
"Живой" перевод требует редакции всегда, как и ДипЛ. Если бы можно было купить проф версию Дипла было получше, сразу выбрав нужный стиль текста. Возможности находу править текст с подстановкой родов/синонимов и прочего, вообще пушка.
Скайримовасян
Да я покупал в своё время и его, и grammarly, и покупал пруфридинг у мясных мешков. Так вот, ещё в 2023 локалки сделали возможным не платить за переводы.
ДипЛ ощущается как 2b говно, в то время как я могу юзать 24-33 с норм контекстом и норм квантом.
И кум модель обосралась как минимум перепутав мистраль и микстраль, дипл если он там на первом пике - нет
Не топлю за дипл просто забавно
>Все в восторге
по апи - говно @ моча
В восторге все от перевода через веб-морду с интеллектуальной заменой через выыбор вариантов из списка по клику и перестраиваем текста под них.
Микстраль суть есть мистраль, так что тут норм, а ДипЛ мало того, что наименование себя не понял, так ещё орфографически обосрался, про построение предложений тоже молчу. Тут всухую слив дипли.
Поставил для этого magic translation: https://github.com/bmen25124/SillyTavern-Magic-Translation
Что думаете про сэмплеры? Нейтрализовать их или как-то тюнить стоит?
Пока сам дергаю, но не понимаю.
И да, ДипЛ просто транслитерировал слово "микстраль", в то время как кум-модель "понимает", что речь о вероятностных базах данных.
>для перевода
>сэмплеры
Для перевода и точных задач вообще где не предполагаются свайпы можно использовать температуру 0.0
выставил ща температуру по нулям и пошёл просто "машинный" перевод. На единичке куда лучше. Все таки нужно живости оставлять, чтобы норм работало
> мистраль немо для перевода текста в рп на русский
Нахуя? Есть же зоопарк гемм3, они лучше в переводе
Вон новые попробуй gemma-3n
да чото потыкал, а он цензурит с нихуя. поставил 12б у нее получше с этим. но тоже перевод не прямо сказка. Мб надо как-то промпт улучшить. Пока так оставил:
Translate the following English text into {{language}} natural, colloquial, preserving all erotic, vulgar, and obscene expressions without censorship. Do not sanitize or soften any explicit language — use realistic, raw, and dirty phrasing appropriate for adult erotic roleplay.
```
{{prompt}}
```
Keep names unchanged. Respect original formatting (Markdown), and do not alter structure or tone.
Output only the translated text inside a code block using triple backticks (```), with no additional commentary.
Попробуй какую нибудь кум гемму на этой роли
Ну и анон, чеж ты жопой читаешь инструкцию. Инструкция для переводчика должна быть на русском если ты хочешь перевести на русский.
А, может ты не видел, тут в шапке есть инструкция по настройке Magic-Translation
>Микстраль суть есть мистраль, так что тут норм
Нет, не норм. Это разные модели, и то, что негронка своевольничает с названием, показывает убогость нейросетевого перевода.
>>1266885
Ноль мало. Для детерминированных задач нужно 0,3.
>нужно 0,3
Лягушатники советуют 0.15.
Хотя для геммы мб и 0.3 - 0.5 норм будет.
> Это разные модели, и то, что негронка своевольничает с названием, показывает убогость нейросетевого перевода.
Эта убогость на пару порядков превосходит то, что предлагает дипл.
>Лягушатники советуют 0.15.
В последней версии они так накрутили, что 0,3 их равно 1 остальных.
Может быть. Но пускать такое без проверки человеком не стоит.
>0,3 их равно 1 остальных
тогда модель бы шизела на 1.0 темпе, а ей шляпа как раз
Даже меня хватает для проверки за локалкой. А за диплом надо переписывать ВСЁ. Люди не говорят так, как пишет дипл, и я вообще не понимаю, кто эти самые "все", кто в восторге от этой параши.
>тогда модель бы шизела на 1.0 темпе, а ей шляпа как раз
Семплерошизы и 4 темпу могут выставить, и им норм.
>>1266945
>я вообще не понимаю, кто эти самые "все", кто в восторге от этой параши
Те, кто застал промтовские углепластики.
>Ноль
Аноны, а что вообще происходит с распределением когда температура нолевая?
Берется токен с самым большим процентом что выдала сетка, всегда.
На сколько это дело понимаю я, лучше если у модели есть не 1, а 2-3 близких по проценту совпадения токена из которых она выбирает подходящий.
При температуре 0 никакого выбора нет вобще, гриди энкодинг это называется что ли.
Mark я назвал так свою персону, эта тварина ебучая отыгрывает действия мои блять какого хуя? Как ей сказать перестааань нахуй уебище! А ?
у тебя какой систем промпт стоит? обычно там указывают, чтобы моделька за тебя не говорила
Нейронка не отыгрывает, она продолжает текст.
Большинство надрочены на некоторое следование инструкциям.
И там можно скомандовать, но большинство РП-тюнов и особенно мелких, кладут на это прибор, в прямом и переносном смысле.
Возможный вариант - добавить имена как стоп-слова.
Тогда генерация будет просто обрываться.
>эта тварина ебучая отыгрывает действия
В данном случае скорее она описывает с позиции Narrator / Game Master / Dungeon Master как персонаж игрока огрёб.
Почему обязательно ктулху, пикрил например. Буквально плесень и сознательное воплощение вируса в образе несовершеннолетней девочки.
>>1266746
Не страшно. Мало чем отличается от условных гоблинов и гномов из днд, это буквально взрослый человек, только низкого роста. Вот с реальными детьми уже никто никогда ролить не захочет, кроме самых отбитый извращенцев.
Видимо в асиготреде совсем тотальный дум.
Добро пожаловать в узники 12b. Придётся обрезать и свайпать сообщения, потому что эти модели буквально через раз следуют инструкциям. Советую прописать карточку персонажа в соответсвии с твоим характером, или характером чара которого ты отыгрываешь.
>с твоим характером, или характером чара
В идеале и то и другое, но конкретно персоной я редко запариваюсь, обычно там написано что "юзер мужского пола", а детализация подаётся уже в первом сообщении и в процессе чата.
Ононы короче, еще одна проблема. Эта сука тварь повторяется. Буквально хуячит одинаковый последний абзац в каждом новом ответе. Как ей сказать чтоб она не повторяла 1 и то же ??
1) Repetiton Penalty
2) DRY
3) Повысить температуру / снизить мин-п / повысить топ-п - в общем сделать пул токенов шире.
И да, редактировать, удаляя поражённые скверной фрагменты.
Нейронка не "помнит", для неё есть только то что в чате написано.
> делать ненада нахуй?
Нет, следующий пост будет без повторения, а уже последующий тоже, но он будет повторением предыдущего.
А так возьми за правило, редактировать пост, если понравился основа, удаляя оттуда диалоги и действия сетки от твоего лица, потому что если пропустишь один такой диалог, то это все.
такой ещё прекол.
откуда тварь скатина знает имя перса если я ей не назывался в чате, мне такое ненравица, как сделать так чтоб она имени моего не знала пока я не назвался?
Марк, ты слишком много хочешь. Почитай тогда про азы промтинга и пропиши бэкграунд карточки, что вы раньше не знакомы и т.д.
Запомни - это НЕ ИИ, это стохастический попугай.
Он продолжает текст.
да меня не так зовут, ебанарама(
>>1267049
блядство сука а.
>>1267046
А какая нужна видяха чтоб можно было запустить 100000b я не знаю нахуй? Минимально какое железо надо?
имею ввиду минимальное железо для запуска 20+b я ебу блять, ну вот ты пишешь узники 12b, а чтоб не быть узником надо сколько b хуйню запускать и какое железо для нее?
> Оно нормально работает, нет опять какого-то костыльного треша и кривой работы?
Не очень стабильно, но модель от буллервинса у меня почти норм. Пробовать точно можно.
> А под Эрни форков нету там случаем?
А разве в стандартную не добавляли? Не знаю, ей 4 месяца и там не то чтобы прям сильно хорошая, скорее вижн интересен, но мне в текущем месяце не интересно, я мимо пропустил, не подскажу.
>>1266376
База, как и ожидалось.
>это буквально взрослый человек, только низкого роста
А в чём тогда понт?
>Вот с реальными детьми уже никто никогда ролить не захочет, кроме самых отбитый извращенцев.
Родители, которые играют со своими детьми в дочки-матери "Ну да, ну да, пошли мы нахуй".
>>1266999
Всегда был.
В идеале 24 ГБ и больше.
Хотя на скоростях уровня "премлемо" можно и на 12 ГБ.
Из моделей средного уровня лучше всего тебе подойдёт https://huggingface.co/mradermacher/gemma3-27b-abliterated-dpo-GGUF - слушается указов (больше чем остальные сходного уровня), не задаёт вопросов, не посылает рефузами какую-бы дичь не писал. Промты к ней были в треде.
>ебанарама
Очень приятно, Анон.
Возьми за прапвило - в чате ВСЁ должно быть как нравится тебе.
Если что-то не нравится - редактируй.
Ибо коготок увяз - всему птыцу пропасть, оно пойдёт по наклонной.
Важно всё - формат, системный промт, карточка персонажа, и что сам пишешь. Shit in - Shit out.
>100000b
Чтобы запустить человеческий мозг пока не придумали XD
Максимум были милые монстры на 2Т параметров вроде.
у меня 12гб видюха, эта моделька встанет?
Бля я хз, то чуство когда даже фришные модели ебаного SpicyChat ai почему то нравятся больше чем ебуча таверна.
>>1267078
>>ебанарама
>Очень приятно, Анон.
Хддд окей понял, спасибо. Но блять чето мне подсказывает что вернусь в ебучий спайсичат. ноо надеюсь что нет, хочу таверну освоить
>эта моделька встанет?
В 4м кванте, и скорость будет не ахти, для того чтобы именно играть непригодно, если запускать генерацию и переключаться например на работу - пойдёт.
На 12Б если у тебя хороша яшина и память + пошаманив с выгрузкой тензоров можно получить 6-8 токенов в секунду на 4 кванте MS3.2 от лягушатников - безальтернативный вин и топ в своей категории сейчас.
>освоить
А ты чо думал, в сказку попал?
Это инструмент, которым надо учиться пользоваться.
Пикрел: ishuzoku reviewers episode 6
> А разве в стандартную не добавляли? Не знаю, ей 4 месяца и там не то чтобы прям сильно хорошая
Nani? Я про https://huggingface.co/baidu/ERNIE-4.5-300B-A47B-PT
> санузловый
В голос
>>1266695
Ну типа по каким-то скринам на допольно странный запрос сложно судить. Выходит из-за скорости не стал тестировать? Офк когда 9 минут на пост то оно и понятно что нахрен нужно, жаль.
>>1266711
Что за отвратительная модель не может в канничку которой несколько сотен лет? Или если меньше но в сеттинге отсутствия чьей-либо юрисдикции над вами и сильно расположенности ее к тебе.
>>1266756
Просто ехидная блядища в другом внешнем образе с акцентом на ехидность и мерзкий характер, мэх.
nevoria 70b - неповоротливая, плохо понимает русский, а мне уже привычно стало что я на русском пишу, меня понимают идеально и отвечают на английском. Есть неплохая глубина, приятная. Но проблема в том, что я ее могу получить на glm-4. Короче устарела морально ллама, а я невовремя попробовал
synthia-s1 - кайфовейший форк геммы3, отлично понимает, что я пишу на русском. Приятно удивляет реакцией на мой инпут, местами я охуевал чо она творит и удивлялся насколько это правильная реакция на дичь что я пишу. Из минусов непонятно чо у нее с контекстом происходит, отключал swa, но как-то все равно странно работает.
mistral small 24b - это просто рабочая лошадка, оно работает. Ей иногда похуй на контекст, иногда она его вспоминает, ей бывает поебать на половину инпута который вписываешь. Если честно недалеко укатила от nemo. Она будто всё сглаживает, от нее ощущение будто я прожил триллион триллионов жизней и все мне в этой понятно. Конечно, возросла общая логика, последовательность повествования, никаких галлюцинаций, повторы фиксятся сэмплированием спокойно. Поэтому и отнёс к рабочим лошадкам, она работает и в целом приебаться трудно.
glm-4 - это вау, тут меня китайцы удивили, еще раз хочу поблагодарить тредовичка anon99, что сделал готовый пресет. Сел и поехал так сказать. Идеально держит контекст, идеально отыгрывает персонажей. Из минусов сука рефузы, ты можешь ебать что-то что ебать нельзя, сжигать кого не надо сжигать и он опишет тебе это в ярких деталях. Ты можешь ехать на авто по автостраде и он уходит в рефуз "я такое писать не могу а ты вообще конченый раз такое выдумал больной ублюдок". Как эти рефузы работают, я не могу найти в них логику. В целом она все равно из этих мне показалась наиболее интересной и из-за этого я не могу сидеть на мистрале вообще, он кажется примитивным и слишком читаемым. Наверное буду дальше трогать только синтию и глэм
Хз зачем это высрал, чото начал писать зачем-то и потом уже написал пару предложений и впадлу было забрасывать. Интересно послушать что я делаю не так и в чем неправ.
> еще раз хочу поблагодарить тредовичка anon99, что сделал готовый пресет.
Линк на пресет, плз?
Все так, прав что переходишь на хорошие модельки вместо мистралеслопа. Убежденные, которые топили против них и восхваляли свой любимый шлак раньше, просто отстают на несколько месяцев/лет.
А 12B юзерам как жить нахуй? Меня самого заебали эти настолько предсказуемые сюжеты и диалоги на мистрале и его тюнах, что ты уже по первому сообщению карточки можешь понять что будет происходить как минимум следующие сообщений 10. Вот блять, нужна модель без цензуры, и чтобы не лезла в трусы с первого сообщения, я нихуя подобного не могу найти.
Вот я даже щас это сообщение отправил попутно ролля, и как будто по лёгкому наитию в рп явился ДУХ СВЯТОГО МИСТРАЛЯ. Меня от этого повествования просто уже так нахуй корёжит, пизда.
Забытое стоп-слово пробовал - кал, брокен тут - кал, анслоп туту ещё не пробовал. Но это всё же более старые версии.
И наверняка я что-то упустил.
>Вот блять, нужна модель без цензуры, и чтобы не лезла в трусы с первого сообщения, я нихуя подобного не могу найти.
Периодически вспоминаю свой опыт со старой гопотой и почему то мне кажется, что это была идеальная модель для ролевушек. Она умела так качественно рефьюзить, что это совсем не бросалось в глаза и выглядело органично. Даже если персонажем была одержимая нимфоманка, которая двигалась чисто на белковой диете, гопота умудрялась прописать с ней взаимодействие таким образом, чтобы мне приходилось добиваться её внимания и постепенно раздрачивать чтобы она светанула хотя бы одной из сисек.
Наверное, это тоже какая-то крайность, но ей богу, когда гоняешь современные локалки ты прямо чувствуешь, как они пытаются тебе угодить. Даже на ебаной целомудренной гемочке достаточно просто схватить девчонку за пизду и она уже через следующее сообщение начинает скулить и просить засадить ей сзади, внезапно чувствуя нужду и желание.
>самый кумовый файнтюн на последнем мистрале 3.2
Magnum-Diamond
>Линк на пресет, плз?
https://pixeldrain.com/l/xGFnT1PY
>РФ компании ошизели с аишечкой
О ебать как часы просто с запада все берут. Включая все плохое. Расскажи еще.
>3.2 из коробки кумовый и тюны ему не нужны
Всё же интересно, что там лягушатники навертели со своим "небольшим апдейтом"... а потом испугались и посветовали юзать на темпе 0.15 XD
Ллама 70б, Коммандер, Глэм ещё как могут отшивать. Проблема в твоих карточках. Возможно, даже новый Мистраль вывезет
>А 12B юзерам как жить нахуй? Меня самого заебали эти настолько предсказуемые сюжеты и диалоги на мистрале
Как бывший 12B юзер - делюсь опытом. Чтобы было веселее - нужно этим моделям подмешивать в контекст некоторую рандомность.
На практике, это выглядит так - несколько вариантов:
1. Если 12B влазит в карту и можно использовать EXL2 - пробуем для бекэнда talemate - там она сама вносит многое своими запросами.
2. Если у нас медленно, и только таверна - у нее есть макросы. Пишем нечто вроде такого в постоянно включенный WI:
---
#Directive to system:
Next reply you shall start with {{random::focus on NPC reaction::visual changes::direct talking of someone}}
---
и еще
---
### Result of last {{user}}'s actions shall be a {{random: success, success, success, success, great success, partial fail, fail}}.
---
Первому WI ставим шанс срабатывания 10-20%, второму - по вкусу (у меня было 50%)
Место вставки - "перед AN".
Теперь модель будет форсированно получать указания по направлению общего результата в текущем ходе. Вплести их в вывод у 12B мозгов хватит. Не идеальное решение, но общее впечатление улучшает. Это как примешивание шума к картинке в SD - чтобы получить больше мелких деталей после апскейла. Цепляясь за этот рандом модель пишет разнообразнее в целом.
>французы
Mistral AI SAS, доставляют базу в рп с 23 года.
Двачую. Все те, кто пишут про чрезмерную лояльность к юзеру, или не пробовали нормальных моделей, или у них проблема с промптингом. Персонаж, которого отыгрывал Коммандер, литералли зарезал меня во сне, и это адекватно ложилось в историю. С Глэмом еще забавнее - персонажу надоело, что я его слишком долго тизю, в итоге прямо во время процесса все переключилось на ссору с последующей обидкой и побегом.
>>1267634
3.1 рекомендовали использовать с той же температурой. Это для ассистентских задач.
>>1267654
Речь про Мистраль.
>>1267645
>Проблема в карточках
Да блин, даже Broken-Tutu мне 7к контекста не лезла пока сам сцену не инициировал. Как напишешь - так и поедешь.
> Интересно послушать что я делаю не так и в чем неправ.
Все делаешь и так и во всем прав, неиронично. Правильно, что составляешь мнение сам, а не ориентируешься на отзывы из треда. У меня по моделям такое же мнение, разве что Синтия (и Гемма) не смогли надолго заинтересовать. Допускаю, что не распробовал, но после Глэма даже не вижу необходимости.
>Тюны нужны.
>>1267666
>>1267668
>иммерсивной
Ну, мож челу нужно не просто чтобы без рефузалов, а более явный алайнмент и стиль. Например Magnum-Diamond на базе 3.2.
О, другое мнение.
Поясни пожалуйста, почему ты так считаешь.
Увы, не все так просто. Кумтюнам не нужны хорошие карточки, они из коробки отыгрывают генерализированную кум-линию, оттуда и все эти "MAKE ME YOURS" на пятом сообщении и предсказуемые паттерны поведения: потому что характер проебывается. Базовым моделям нужны карточки, которые сделаны качественнее, но при этом и персонажи проебываться не будут. Если нужен мощный кум - значит и персонаж соответствующий должен быть, с соответствующими описаниями и примерами диалогов.
Потому что из коробки чар не "держит" характер. Плюс порой начинает шизить с орфографией, что странно. На 24b Q6 гонял, если что. И с теми же настройками у тюна 3.2 такой проблемы нет.
Понятно.
Ответ "почему" - буквально два сообщения над твоим.
Можно и так сказать. Только вот общая направленность оказывается куда сочнее специализации, потому что когда дело доходит до того, что тебе нужно, моделька подтягивает другие детали извне. Это ощущается более правдоподобно. Приводя пример, персонаж остается персонажем со своими нюансами, которые в него закладывались, а не становится кумботом-автоответчиком с дюжиной реплик на любого персонажа.
Да без разницы, почему. Факт в том, что из коробки РП на 3.2 — хуета, по сравнению с.
И совершенно непонятно, почему кто-то говорить что файнтюны НИНУЖНЫ. Они, видимо, плотно 3.2 не щупали.
Говорю, что файнтюны НИНУЖНЫ и так же считаю, что 3.2 плотно не щупали те, кто утверждают обратное. Что дальше делать будем?
Верно, но утрированно.
Как и в случае выбора кванта и выгружаемых тензоров, разные тюны рейлят модели в разной степени, и вышеупомянутый даймонд как раз проёбывает умеренно-приемлемо. Хотя в кум-сцене он будет лить слоп как типичный магнум ( что от него и ждут люди вроде >>1267683 ), но потом позволяет вернуться в сюжетное рп почти не теряя мозгов по пути.
НИНУЖНЫ так не пользуйся. Ну не нравится тебе, когда персонаж в характере — твоё право, не осуждаю.
>нравится когда персонаж в характере
Если юзаются только кумлоп карты, то они будут в идеальном характере на кумтюне, специализация.
В чем заключается "утрированность"? Это буквально так работает. Тюнеры обучают модель письки сосать и умолять МЕЙКМИЁРСИТЬ, что ломает другие вещи, и модель в итоге только это и отыгрывает. Есть тюны, где этот баланс убит в срамину, как те же ReadyArt, а есть те, где поменьше, с этим я согласен. Но факт в том, что базоваю модель отыгрывает лучше, потому что ее не лоботомизировали. Я сравнивал отыгрыш на доступных тюнах 3.1, тюнах 3.2, и только на базовом инструкте 3.2 получал персонажей, а не кумботов-автоответчиков, и кум был вполне сочным благодаря карточкам. Магнум-Даймонд я тоже пробовал, ничего особенного имхо.
Впрочем, зачем мы тут что-либо доказываем? У каждого своя правда.
Да причём тут кум вообще, у тебя какая-то нездоровая фиксация на куме.
Я наоборот использую базовую модель для того, чтобы персонажи были в характере. Ты ебанутый? Думал, общаюсь с кем-то вразумительным, но видимо ошибся. Тюны не могут лучше следовать инструкциям, чем базовая модель.
Будь ты прав, на базовой модели не было бы жутких проёбов в поведении чаров.
А это проблема промта - кум сетке нужен упрощенный промт, базовой - нужно описывать то в чем поведение чара проваливается изза ее нейтральности
Если вкратце - скилл ишью.
Если подробнее - ты, видимо, ждешь, что персонаж будет прыгать на хуй как можно скорее, но базовая модель так не делает, потому что ты недостаточно явно изложил это в карточке. Кумтюн это делает из коробки, ему и инструкции не нужны.
Энивей, я выше признал, что доказывать что-либо смысла нет, и каждому свое. Потому продолжать этот разговор не намерен, мы уже ходим кругами. Используй что душе угодно.
>В чем заключается "утрированность"?
В фразе "становится кумботом-автоответчиком с дюжиной реплик на любого персонажа".
Я такое только на тольно старых 8-12б видал.
>>1267689
>Да причём тут кум вообще
Потому что речь шла про специализацию и MS3.2, и во всё остальное он может отлично из коробки. Да и в кум тоже может.
>>1267691
>жутких проёбов в поведении чаров
Модель не знает что у тебя в голове.
Дописывай промт, тестируй снова.
Так хорошие карточки и делаются.
Есть подробная карточка персонажа. Если базовая не может ей следовать — значит, модель нужно допилить. Всякие анальные поправляшки нарушают иммерсивность. Сейчас не 2023, чтобы такой хуетой страдать.
>>1267694
>- ты, видимо, ждешь, что персонаж будет прыгать на хуй как можно скорее,
прекращай проецировать уже.
Тюны а-приори ХУЖЕ следуют инструкциям, всегда и без исключенрий.
>модель нужно допилить
Что компенсируется алайнментом файнтюна/лоры для сужения выдачи в нужном направлении,
> Я такое только на тольно старых 8-12б видал.
Видать, давно смотрел, анонче. Доброе большинство 22-24б мистралетюнов именно такие
>>1267700
Мистралешиз, спокнись. Не нужно переходить на личности и трястись только потому, что кто-то не разделил твою любовь к васянотюнам
>иммерсивность
Нету никакой иммерсивности. Есть инструмент.
Раз ХУЖЕ, то чего ж следуют ЛУЧШЕ?
>>1267705
>Мистралешиз
>Не нужно переходить на личности
Экий ты самокритичный. Не трясись, додик.
> Раз ХУЖЕ, то чего ж следуют ЛУЧШЕ?
тыскозал?
Ты пока единственный макак в треде, у которого чудесным образом тюны лучше следуют промту, чем инструкт. Дважды два могёшь сложить?
мистраледебилу всем тредом пытались объяснить как работает следование промту, но он так и не понял...
проблема в том, что у мистраледебила мозгов как у его любимых тюнов. он не может осознать, даже если захочет. другое дело что залупаться начал, таких сразу мочить в сортире
>>1267703
>Тюны а-приори ХУЖЕ следуют инструкциям, всегда и без исключенрий.
>
Ну совсем то уж не заговаривайся. Этот самый MS 3.2 - технически как раз тюн MS 3.1 - эта модель дотренирована, а не делалась с нуля.
Более того - практически все instruct модели ламы и мистраля - это, технически, тюны base моделей, которые в инструкции практически не могут вообще.
Так что не надо вешать ярлыки. Тюн, сам по себе - это не хорошо и не плохо. Вопрос в конкретном содержимом. Львиная доля тюнов делается под кум - так это не новость. Что, однако, не исключает самой возможности улучшения (а не ухудшения) модели через тюнинг. Вопрос цели тюнинга и скилла им занимающегося.
>МЕЙКМИЁРСИТЬ
мне кажется это именно встроенный мысралевский слоп, как БЭРЭЛИЭБОУЭВЫСПЫР.
тюны именно вносят чуть-чуть разнообразности в шаблонный слоп, который у мысрали на уровне джорни-бондов ламы1
Хуя себе отождествление между инструктом и тюном инструкта (тюном тюна). Тюнокоупинг продолжается.
Instruct - тюн базовой модели. Мистралетюны делаются дотренировкой Instruct'а. И Харбингера туда, и Кодекс, и Магнум, вообще все. Случае следование инструкциям проебывается всегда. Вопрос лишь в какой степени. MS3.2 - тюн базовой модели MS3.1. Базовые модели тюнеры обычно не трогают потому, что их нужно дополнительно тренировать на следование инструкциям, а для этого нужна серьезная квалификация и понимание архитектуры.
> а для этого нужна серьезная квалификация и понимание архитектуры.
и огромный ресурс, которого у тюнеров нет. скормить базовой модели свой датасет, а затем натренировать ее следовать инструкциям, это совсем другой уровень работы. и да, тюнеры это не могут себе позволить потому тупо вводят свои данные при помощи лоботомии уже натренированной на следование инструкциям модели. иногда успешно, без большого брейндемеджа, часто нет. но отупление есть всегда
Мистралешиз, тебя обоссали именно за то, что ты сам начал агрессировать
Это их модель полугодовой давности, которую они наконец опенсорснули.
Откровений там нет, преимущество перед квеном нивелируется размером активных параметров и скоростью, вот вижн-часть — это круто, а в остальном… Оно надо?
Я хз, я не увидел профита для себя от Эрни.
Какую-то там покрутил мелкую, поугарал и все.
Мне лень запускать 300б. Но если вдруг окажется хидден гем — буду рад.
>серьезная квалификация и понимание архитектуры
А ещё хотя бы 256 ГБ VRAM для 24Б модели, лорой тут не обойдёшься.
Такой кластер не у каждого найдётся, уж точно не у рандомных кабанчиков.
>два часа сидеть прописывать
нормальную карточку ты за два часа не сделаешь
> - Tokens: 7310
> - Time: 733806.879 ms
> - Speed: 10.0 t/s
это пиздец, с "думающей" нейронкой это совершенно неюзабельно, задаёшь вопрос и идёшь кумить пить чай, чтобы при возвращении обнаружить, что нейронка выдала хуйню и надо уточнять запрос и ждать ещё 733806.879 ms
хах, я так кумал первые пару вечеров два года назад, когда в первый раз запустил лламку, забыв что монитор давно был воткнут во встроенную и гей-меркская рыкса тупо простаивала. 15-20 минут на параграф.
когда допёр что я долбоёб, мои жалкие 3т/с казались ебать как быстро.
я для себя взял за правильно не играть с руссиком в целом. Я на нем отвечаю, но весь вывод остается на английском. Просто потому что модель тупеет в разы когда уходит с английского. Это относится и к синтиям гэммам, глэмам все что я выше описывал. Наверняка есть которые норм в руссике, но точно не на >70b что я пробовал. Так что вот первый совет, уйти от русского. Потрогать разные тюны. Меня например приятно удивил этот: https://huggingface.co/nakodanei/Blue-Orchid-2x7b
>Хуя себе отождествление между инструктом и тюном инструкта
Окстись! Какое отождествление? Я же говорил "технически - это тоже тюн". Где здесь о том, что разницы вообще нет? Я возражаю лишь против того, что "лучше быть вообще не может, без исключений!" и навешивания соответствующих ярлыков.
>>1267807
В отличии от нас, там у "рандомного кабанчика" нет проблем просто заплатить за аренду соответствующей мощности. Если играть постоянно - это не слишком рентабельно в долгосрочке, но разово потюнить - много дешевле, чем риги собирать. По карману большинству тамошних энтузиастов.
> Я же говорил "технически - это тоже тюн"
> Так что не надо вешать ярлыки. Тюн, сам по себе - это не хорошо и не плохо.
Ты сам и повесил ярлыки, определив instruct (тюн базовой модели) и рп тюны (тюн инструкта, т.е. тюн тюна) в категорию "технически - и то, и другое, это тюн". Это совершенно разные вещи, и когда люди здесь ругают тюны, очевидно, аноны имеют ввиду не инструкт от базовой модели.
> Я возражаю лишь против того, что "лучше быть вообще не может, без исключений!"
С точки зрения следованиям инструкциям - не может. Потому что тюн инструкта всегда ухудшает его возможность следования инструкциям, по определению. Если тюнер взял базовую модель (тот же MS3.2, не инструкт), дотренировал и затем провел instruct тренировку - это другой разговор. Другое дело, что доступно это ввиду ограничений (в первую очередь, по знаниям), только большим коллективам/лабораториям.
Ну, к слову, клод тоже думает пару минут.
А на 4 ми50 квен 20 токенов дает.
Уже ближе к компаре. =)
Согласен во всем но мне еще немотрон 49b с пресетом анона v2 наудивление зашел. IQ3S пишет как 70b модели (запускал две разные через api в Q4)
Я не играю на русском, тот приложенный пик - перевод яндекса. Я уже и стриминг на анлийском читаю почти без проблем, но перевожу на всякий случай если встречаются сложные обороты. Играть на русском особенно на мелких моделях - кастрировать себя. Несмотря на это запах деда мистраля всё равно хуярит по ноздрям.
>"технически - и то, и другое, это тюн". Это совершенно разные вещи
Чел, ты не понял о чем я. ПРОЦЕСС дотренировок, технически - тот же самый везде. Дотренировка 3.1 в 3.2 - это тоже была не какая-то секретная техника, недоступная другим смертным. Если у кого-то найдется достаточно мозгов - он сможет ее повторить, или даже улучшить. И это тоже будет тюн (от 3.1). Я исключительно про это. Исключать, что такие могут найтись, IMHO - неразумно. О том, что если лезть в это дело кривыми ручками или совсем наобум - то получится кака, спору нет. Просто заранее, и категорично, не нужно списывать саму возможность на выходе получить плюс а не минус, не надо, ок? А то, получается, что прогресса в моделях быть не может. А ведь он есть, 3.2 свидетель.
>>1267903
>С точки зрения следованиям инструкциям - не может. Потому что тюн инструкта
Ну и некоторые тюны 8B и 12B которые я пробовал, определенно слушались инструкций лучше, чем то, с чего они были сделаны. Про то что выше - не скажу, а это лично щупал. Правда, они именно что инструкций лучше слушались. RP с ними - такое себе получалось, креативность явно душилась в противовес.
>>1267903
>Потому что тюн инструкта всегда ухудшает его возможность следования инструкциям, по определению.
Дайте пожалуйста это определение. В формулах, статьях, материалах. А то, личные впечатления у нас пересекаются. Или мы опять про разное говорим? Вероятно, потому что:
>Если тюнер взял базовую модель (тот же MS3.2, не инструкт), дотренировал и затем провел instruct тренировку - это другой разговор.
И я про это же. Разумеется, основная масса этим не занимается, но отдельные экспериментаторы - вполне, насколько я их читаю. Но зовут они подобное все равно "finetune" - под одну гребенку. Вот по этому я и говорю - не вешаем ярлык "тюн - это говно по определению", ок? Смотрим сначала, о чем именно речь.
Фиг с этой скоростью, но контекст. Хочешь что то серьезное готовь минимум 32к. Это напряжно даже на мелочи выделить бывает. А если все 128 нужно ебнуть? Большая модель и сама все место займет и на контекст ее жирный места не будет.
С лоКАЛками только автокомплит и прочие простые однопромптные операции. Универсальным агентам нужны большие ресурсы.
> ПРОЦЕСС дотренировок, технически - тот же самый везде.
То есть то, что данные, которые проходят через этот процесс, принципиально отличаются и, как следствие, приводят к совершенно разному результату, ты готов опустить? Тренировать можно по-разному и для разных целей. Instruct тренировка - совершенно не то же самое, что DPO-тренировка или ввод новых данных, чтобы расширить датасет. Ты настолько разные вещи, настолько сложную тему обобщил и говоришь, что боришься с ярлыками?
> Дотренировка 3.1 в 3.2 - это тоже была не какая-то секретная техника, недоступная другим смертным.
Instruct тренировка недоступна другим смертным, потому что это сложный вид тренировки. Из названия понятно, что она нужна для того, чтобы модель слушалась инструкций, и применяется эта тренировка к уже готовой модели. Это, кажется, все знают, но если тебе нужно - ищи источники в гугле.
> Дайте пожалуйста это определение. В формулах, статьях, материалах.
После такого тебя сразу нахуй можно слать, но для остальных тредовичков поясню. Instruct тренировка проводится на базовой модели, чтобы та лучше слушалась инструкций. Если путем тюна в instruct модели вносятся изменения (что происходит, когда тюнеры расширяют датасет), результат instruct тренировки страдает, вопрос лишь в какой степени. После внесения новых данных нужна повторная instruct тренировка. Любому, кто хоть немного понимает принципы работы ллм, это очевидно. Если тебе нужны формулы (какие тут могут быть формулы вообще?), статьи или материалы, отправляйся на профильные площадки и читай научные статьи на эту тему.
> Разумеется, основная масса этим не занимается, но отдельные экспериментаторы - вполне, насколько я их читаю.
Чекай пикрил. Уверяю, ты не найдешь ни одного рп тюна, который сделан на базовой модели. Все они - тюны instruct модели. Если и будут исключения, то единичные, сделанные в качестве эксперимента. Адекватных тюнов, сделанных путем дотренировки базовой модели и тренировкой на результате instruct модели, на данный момент не существует.
> Вот по этому я и говорю - не вешаем ярлык "тюн - это говно по определению", ок?
Иронично, что ярлыки развешиваешь ты сам. Сначала объединил все виды тюнинга под одну гребенку, а теперь, оказывается, мое утверждение "тюн инструкта всегда ухудшает его возможность следования инструкциям, по определению" тождественно "тюн - это говно по определению". К сожалению, все немного сложнее, и качество модели не измеряется только лишь ее возможностью следовать инструкциям. В определенных вещах тюны действительно могут быть лучше, и образцовый пример здесь - Синтия, которая успешно поборола рефузы и не слишком потеряла в мозгах.
та не трать ты свое время, васяносимп уже записал тебя в хейтеры несмотря на аргументацию
Причем без кустарных изобретений - райзер и кронштейн в комплекте. Инструкция рекомендует вешать кронштейн левее и выше (чтобы на днище захуярить еще 3 вентилятора), но это шиза.
В общем, мотайте на ус, кому надо 24+24 или 32+32 ебануть без припекания сраки.
Единственный подводный камень - пальцезерок в комплекте нет, надо докупать левые.
я так и не распробовал немотрон, вот ты рассказал захотел снова попробовать, https://huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1
Мы про этот говорим?
Бля ну хуй знает. Искать решения улучшить выдачу и разнообразие мелкомоделей, обзаводиться железом что сможет пускать тридцаточки (сейчас это недорого), или запасаться терпением.
>>1267679
> чар не "держит" характер
Сошлись звезды что шаблон шизотюна наложился на твои хотелки.
>>1267719
Да зря время тратите, шизик же совсем. Может через пол года-год его в конец заебет лоботомия и он искренне откроет для себя как именно должна вести себя полноценная модель, впечатлившись с того что уже сейчас немного подустарело.
>>1267794
> Откровений там нет
Откуда инфа? Если оно было доступно за анально огороженным апи, которое еще и нахрен никому не нужно было в этой стране и на западе, то и оценок корректных быть не может.
> Оно надо?
Пока не попробуешь не узнаешь же, потому и нужны кванты и рабочий софт под них.
> Какую-то там покрутил мелкую, поугарал и все.
Сам ведь понимаешь что это что-то уровня "купил мертвый туарег 1 за 300 и тот развалился через 100 километров на трассе, херня ваш последний порш". Квен, конечно, ванлав и преисполнена ахуенности, но если будет еще что-то адекватное то было бы круто.
База, так еще и нужна шустрая обработка, а то с кринжом что показывают в 50т/с ты копипастишь туда код и уже уходишь. А если там некоторая история правок-запусков, которая легко за 40к может перевалить - буквально сначала что-то делаешь пока оно обработает, а потом осознаешь что на этом контексте от генерации ничего не осталось и терпишь еще час.
>>1267910
Клод сейчас оче быстрый, там даже на опусе 35+ и учитывая как он отупел - новая модель очевидно меньше третьего-умнички, сойнет вообще ракета. А вот офф дипсик - примерно 25т/с стабильно и заметное ожидание первых токенов. Учитывая как он любит себя запутывать и предлагает исправления что приводят к той же ошибке - при наличии локального квена не нужен.
> А на 4 ми50 квен 20 токенов дает.
Перфоманс на нормальных квантах и контексте так и не показали.
>>1267961
> Если у кого-то найдется достаточно мозгов - он сможет ее повторить, или даже улучшить.
Шел 25 год, 3й год активных игр с нейронками. Ведущие лидеры "рп файнтюнов" до сих пор не научились в нормальную подготовку датасета, не открыли для себя аугментацию, пользуются васяновскими приблудами вместо нормальных трейнеров, и даже фунционал этих тулзов в полной мере не смогли освоить. О чем тут говорить вообще.
Как-то поставил васянский "файнтюн", написал боту "подскажи какие вещи тебе кажутся неоднозначными в этом промпте" и в ответ получил "fuck off" и дальше бесконечный луп генерации повторяющегося набора букв.
>Ты настолько разные вещи, настолько сложную тему обобщил и говоришь, что боришься с ярлыками?
>После такого тебя сразу нахуй можно слать
(Вздыхая) Ты слышишь исключительно себя. Просто выкручиваешь мои слова так, как тебе хочется, и отвечаешь уже на это. Я, возможно, уже тоже, хз.
В продолжении этой дискуссии глухарей смысла не вижу.
Но если тебе нужно обязательно считать себя правым - на здоровье. Официально - ты победил. Слава лучшему спорщику! Аплодисменты.
>поборола рефузы
и добавила свои + плюс вообще припезднутая
>в ответ получил "fuck off" и дальше бесконечный луп генерации повторяющегося набора букв
ахахахах, типичный васян этого треда
Плохой файнтюн. Бот должен был сказать что твой взгляд неоднозначен, нравится ли тебе то что ты видишь и прыгнуть к тебе на коленки томно шепча на ушко взять его прямо здесь.
Могу сказать тебе ровно то же самое. Даже больше: ты сам начал разговор, оперируя неверным фактом; зареквестил пруфы, не утруждаясь самому их предоставить (это работает в обе стороны, дурашка); слился после вменяемой аргументации, обидившись за то, что тебя ущипнули за плохое поведение. Поведение подростка в переходном возрасте! Аплодисменты.
Вот ты смеешься, а я одно время рофлил устраивая вайбкод на кумботе-программисте. На удивление, модель была невероятно замотивирована в успешном запуске без ошибок и прилично справлялась, лол.
Скажи какую модель ты выбрал и я скажу тебе кто ты
> вообще спалил - сбил на обороте мп DC-DC стойкой корпуса, когда переставлял. Так что смейтесь надо мной, не будьте как я. И Supermicro H12SSL тоже не берите. Микруху заказал сразу 2шт с запасом, идёт. Надеюсь починится. Когда у себя тоже сшибёте U4, U5, U6 - вот название TPS62088, какую искать.
В серверов треде такие бедолаги регулярно вылезают раз в пару перекатов. Крепись
>Ллама 70б, Коммандер, Глэм ещё как могут отшивать.
При чем тут вообще отшивание, если речь идет про рефьюзы.
>Проблема в твоих карточках.
Чё еще расскажешь?
>Возможно, даже новый Мистраль вывезет
Не вывезет. Даже старый толстый мистраль не вывезет. Но если ты реально считаешь, что рефьюзы - это простой отказ модели, то тебе и мелкого немотрона хватит.
Влезает то влезает, но расположение вентилей самое бездарное, что я видел.
По хорошему вентили по бокам в сборках с повёрнутой на 90 градусах материнкой нахуй не нужны, а нужен продув снизу вверх. Видеокарты обе на райзеры, чтобы их снизу продувало холодным воздухом.
> В серверов треде
Я не очень умный, щито поделать. Даже не подумал почитать предварительно, считал, что обычной осторожности достаточно будет. Типа раз собрал же кучу пека, то что может пойти не так?