Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №115 /llama/
Аноним
18/03/25 Втр 19:19:18
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1098615 (OP)
>>1094772 (OP)
К чему я это : реквестирую Ваше кря относительно новой мистрали. Что гоняли, как по цензуре, что по языкам ?
>файнтюны на NemoMix-Unleashed-12B
https://huggingface.co/Aleteian/Darkness-Reign-MN-12B
>>1103338 →
>>1103341
>Ваше Кря относительно новой мистрали
Гавно. Чуда не случилось.
Просто на бенчмарки решили подрочить видимо.
>>1103328 →
>Не забываем обоссывать калотарку
Я не он(а), но осуждаю.
>pci-e карточки для рабочих станций и серверов имеют мощность в 300вт и существуют, не вводи в заблуждение.
Почитал, вроде бы и да, но какого хуя тогда 8 пин передают 300 (по 75 на пару), а 6 пин псины всего лишь 150 (по 50 на пару). Какой-то лютый проёб, даже сильнее, чем я думал. Нахуя тогда невидиевское новомодное горящее говно, если хватает двух процессорных.
>Гавно. Чуда не случилось.
>Просто на бенчмарки решили подрочить видимо.
Что отыгрывал ? Сколько постов написал ? В чём говно ? Тупая и не понимает оборотов? А на каком языке ?
>Я не он(а), но осуждаю.
Почему? Дебил с подписью ненужен. 100 тредов обходились без калотарок.
Хотя конечно плотность событий ебёт, 3,5 базовых модели, а месяц ещё не закончился.
Скоро еще ллама и квен подтянутся с новыми сериями моделей
Ну, по крайней мере это было бы логично
Майкрософт может быть, какой нибудь интел
> Покажешь
Покажи туза. Говорю за тех, кого знаю, и с кем общаюсь в мл-релейтед тусовке.
> совершенно другую статистику тех кто столкнулся с этим
Это называется непредставительная выборка, собрать группу бедолаг а потом заявлять что 100% опрошенных столкнулись с этой проблемой.
> Чел, я тебе кинул ссылку
30страничный форум где ноют, расследуют, строят гипотезы и обсуждают группа людей, предлагаешь ее всю сидеть и читать?
Уже описал тебе что такая проблема возможна, и вполне очевидно что она не массовая и не простая, иначе бы ее не существовало. Это может быть что-то на стыке железа, софта и прочего, когда особая комбинация приводит к проявлению проблемы, которая по всей логике никогда не должна к этому относиться. И вполне наглядный пример того, что в дровах хуанга и в шинде есть приколы с переключением мониторов, они происходят медленно и с фризами. Никого и никогда это не беспокоит, ибо мониторы (кроме прогеймерских) сами по себе пропердываются гораздо дольше, процедура редкая и не требует спешки. Но из-за комбинации других аппаратных проблем (хуевый кабель монитора, отсутствие заземления, хуевый бп без фильтров, всратый монитор, неудачная распайка видеовыхода вендором и т.д.) у 0.00001% пользователей (что уже тысячи на фоне пулла карточек) может это иногда проявиться.
Такое в любой области случается, там где надо избегать вырабатывают специальные меры (вплоть до требований чтобы используемый софт не менее N лет был обкатан и находился в архиве замороженных версий, аналогично строгие требования к срокам производства электрических компонентов внутри девайсов). В остальных случаях за редкими исключениями имеет оче низкий приоритет.
>>1103308 →
> Не было никакого цирка
> с моей 6600 рыксой
Хороший пример непривередливого типа, который о таком уровне не может даже мечтать. Неполноценная карточка, для которой вроде поддержка есть - а вроде и нет, и нихуя толком нормально не работает.
>>1103369
Так делались стандарты.
> Нахуя тогда невидиевское новомодное горящее говно, если хватает двух процессорных.
Считай трех, и в количестве они только в серверных бп встречаются. И внезапно они точно также горят, просто освещать это не принесет профитов.
видел я, как она "ебёт"
>я отказываюсь продолжать этот ролеплей и вызываю полицию нравов, чтоб ты сдох педофил
тоже глянул fifi на аблитерейтед гемме, и блять, она даже в годный кум смогла, надо глянуть что шиз на аффтаре в карточке понаписал
>Считай трех
Вместе с процем? Просто новый 12х6 v100500 даёт 600 ватт, а тут 2 по 300. Даже удобно.
Ну и производители блоков ровно так же выпустили бы новые ревизии, плюс переходники (6+2)х2 => 8. По моему было бы намного лучше, чем ебатория с горящими.
>И внезапно они точно также горят
Сдуру можно много чего сломать, но я сообщений о пожарах не видел.
>>1103391
Так ты не еби детей, и всё будет отлично аблитерация уже вышла, можешь смело ебать.
>Я блядь не успеваю уже
n_ctx_pre_seq (16128) > n_ctx_train (8192) -- possible training context overflow
Ая - говно мамонта, уже даже гемме нормальный контекст прикрутили, хотя русский да, есть
Мисрал новый посрал - может хуже старой Сайги.
Остальное что выходило не может вообще.
Так что из нового остаётся только Джемма.
>Мисрал
Походу 3.1 это релиз, сделанный в панике, чтобы перекрыть релиз геммы 3. Мистраль 3.1 в принципе огрызок релиза, ведь хорошим тоном было бы сразу выпустить модель во всех весовых категориях, то есть от 1b и выше.
QwQ в русском заебись, а истории пишет пизже геммы, язык эпичнее. Ошибок чуть-чуть больше (одно окончание на пять абзацев).
Skill issue.
Главное не файнтьюны, которые убивают русский.
>>1103375
Ллама опять говно говна будет, не спрашивали. Квен опять рабочий, I guess.
Пробуюсь на Олламе и Кобольде запускать, там какие-то промпт темплейты есть, но хз как их юзать. Есть гайды или готовые решения?
>Анончесы, а любую модельку можно заставить ризонить как Дипсик?
Можно, но не нужно. Это мало что прибавляет на не приспособленных моделях. Больше времени потратишь на псевдоразмышления, нежели чем качества прибавишь.
>Дипсик
Дипсик надрачивали как-то через reinforcement learning, чтобы она сама научилась "думать", поэтому прибавки есть, а просто тюнить на коте это хуйня
>Что?
Тебя гуглить учить надо? https://www.reddit.com/r/linux_gaming/comments/1fm17ea/undervolting_nvidia_gpu_in_2024/
Впрочем, по твоей ублюдочной манере "Что?"-кать всё и так понятно.
По спекам 250вт на разъем, двух хватит только на 500.
> По моему было бы намного лучше, чем ебатория с горящими.
Разъем не самый удачный, но тряска вокруг него преувеличена. Подавляющее большинство проблем идут с раздобланными старыми кабелями или китайскими всратыми переходниками вне спеков. Оригинальный разъем можешь под огнем держать и он будет сохранять целостность, а китайщина сразу пойдет оплавляться. Клеймы там тоже отличаются что влияет на качество и стабильность контакта.
> Сдуру
Да не сдуру а вполне популярная проблема, просто не афишируют. Ну, когда не нужно поднимать шумиху, на штеуд со скаленк-х вайн поднимался, на трипаки как-то притихли. Сам такое встречал, у майнеров вообще популярная тема в ебле с разъемами на мощных карточках была.
>>1103530
На линуксе есть полный контроль частот, паверлимита, смещений курвы, за счет чего можно делать все манипуляции. Курву тоже можно достать в опен драйверах, но лезть глубоко.
> ублюдочной манере
Ублюдочная манера - делать ахуительные заявления о невозможности того чем все занимаются, а потом агриться когда тебя переспрашивают
Ты читать умеешь дальше слов-триггеров? Я ровно об этом и писал в изначальном посте. Есть набор костылей, которые опосредованно позволяют влиять на вольтаж, напрямую это делать возможности нет. Тем более в каком-нибудь красивом GUI.
Юзай оригинал аблитерейтед, хули.
>>1103581
>у майнеров вообще популярная тема в ебле с разъемами на мощных карточках была.
С учётом того, как они ебли карточки, и какие китаеблоки использовали, удивительно, что я не слышал о сгоревших складах с железом на миллионы, лол.
> на линухах нет андервольта, увы. Есть только какие-то костыли
Это буквально андервольт, который позволяет в 2 команды получить задуманное. А не сидеть как аутист дергать туда-сюда точечки, которые все равно перестрояться, это ты называешь прямым влиянием? Агрессивный неосилятор, зачем так злишься еще?
>>1103609
Ну, так-то в основном майнился эфир и там карточки были холодные. В китаеблоках для карт если не паль ставят приличные разъемы, там больше проблем от всяких перегибов, упаковок в корпус и т.д.
> не слышал о сгоревших складах
А с чего там что-то должно сгорать? Когда такое происходит то напряжение на линии сильно проседает и карточка просто отваливается, исчезая из устройств или вешая вместе с собою систему. В большинстве случаев даже заметных повреждений нет, только раскрошившийся пластик разъемов и фиолетовые клеймы. То же самое происходит на новом разъеме.
А мы знаем что там накрутили? Модель да, может в 128к, но сторонний чат может ограничить контекст любым произвольным числом, даже динамическим.
Блять, я даун, я думал он про контекст этого чата. Ну я сам виноват что вопрос неправильно сформулировал.
Есть скриншоты кума? Качать аблитерацию слишком лень, всё гоняю ванильную, так как она меня устраивает.
Просто я на карточке fifi тестил моделей штук двадцать и сразу вижу сою, в том числе и скрытую. Там очень по-разному акценты могут расставлять.
>>1103422
Это довольно легко фиксится систем промптом. Она у меня не скатывается в морализаторство и имеет тёмный уклон.
Правда, систем промпт 700 токенов.
Ну скачаешь позже, никуда не убежит (наверно).
А кидать стрёмно, с двача и не удалишь потом, даже если сам файл заливать на другой сервис.
>>1103868
>с помощью чего вы
Ничего, врам и так мало, или у тебя риг со 130+ VRAM?
> на карточке
Чет поискал по имени на chub.ai/characters - нашло одну обычную кошкодевку. Кинь ссылку, пожалуйста
Это какое то другое зеркало чаба, там вообще этой кнопки нет. Лучше смотри карточки тут https://jannyai.com/?hide_bot=checked&page=1&tag_id= чем на этой помойке.
Лолиёб, ты опять выходишь на связь ? Я тебя майору сдам, блять. Будете обсуждать какая лоля лучше.
>>1103395
Да и обычная гемма вполне не слишком зацензурена.
Рли, не ебите детей и не будет цензуры от слова совсем.
Зарегистрируйся, там тег лоли и вещества, поэтому ничего не находит.
На jannyai искать почти нечего обычно, сплошная помойка, так как туда выкладывают карточки с janitoral — бесплатного сервиса для RP с ботами. В этом сервисе настолько тупорылая модель, явно меньше 12б, и старая, что она едва ли держит карточки. Следовательно, большинство карточкоделов лепят кал в большинстве случаев и ещё на 500 токенов нагружают карточку условным систем промптом, чтобы она хоть как-то работала.
Хоть я там и встречал прямо потрясающие и мастерски сделанные карточки, но это редкость. И почти все авторы скрывают описание своей карточки. Следовательно, вытащить сложно и на jannyai попадает далеко не всё.
На дворе март 2025 года, с новой геммой вообще писать карточки, как пальцы облизать.
Буквально пишешь :
Имя - Анон Анонов
Род занятий - битард
Предпочтения : рисованные лошади и аниме
Желания : мечтает стать кошкодевочкой
О персонаже : родился в битардляндии после основания империума аниме в 2027 году.
Можешь в конце добавить подсказки для повествования. Или заполнить сценарий.
ВСЁ. Ты сделал карточку. Ебашь теперь к ней пикчу.
Как же заёбывают у моделей эти: Отличный вопрос! ЭТО ВАЖНЫЙ ВОПРОС И ВОТ ПОЧЕМУ БЛЯТЬ! ТЫ СУКА МОЛОДЕЦ УМНИЧКА ЧТО ЗАДАЁШЬ ТАКИЕ ВВВВОПРООСЫ НАХУ
Запустил ruadapt-qwen2.5_3B и Dolphin3.3-qwen2.5_3B на андроиде через ChatterUi, дает целых 5.6 токена в секунду, не ожидал.
Качество генерации для такого размера сносное, даже какой-то нативный русик есть, лол.
> выходишь на связь
Итт культурные аноны обсуждают нюансы работы больших языковых моделей, тестируя их в различных ситуациях, включая нештатные, что очень важно потом для выпускаемых в паблик моделей. Они делятся впечатлениями, различными находками, но при этом их работа остается исключительно на их персональных вычислительных устройствах, и состоит только из последовательностей ASCII-символов, причем чаще всего 1-128, без 127-256. Это практически элита, white hat от LLM.
Я не тот анон, но почему ты такой озабоченный? Зачем ты приписываешь другим людям свои подавленные желания?
>3b
Но... зачем? Оно же не просто тупое, оно... никакое. Т5 на стероидах
Не тестил но могу и так сказать. Техника файнтюна текстопродолжателей на выполнение инструкций себя исчерпала. Так что никаких 8б внезапно поумневших до уровя хотябы 123б мы не увидим. Все эти новые геммы и мистрали равны предыдущим моделям с тем же размером, разница лишь в надрочке на тесты и безопасносити.
Понравилось. Мне показалось, у модели нейтральный bias, персонаж проявлял свой иногда скверный характер и шел мне наперекор. Нейронка сама предложила закончить историю, добавив строку "End Scene." в конце своего ответа. Это было довольно неожиданно, я такого раньше не встречал. Посидел-подумал и решил согласиться, очень уж подходящий момент был пойман.
>Delivering the power of an AI supercomputer in a desktop-friendly size, NVIDIA DGX Spark is ideal for AI developer, researcher, and data scientist workloads.
>CPU20 core Arm, 10 Cortex-X925 + 10 Cortex-A725 Arm
>Tensor Performance_11000 AI TOPS
>1 Theoretical FP4 TOPS using the sparsity feature.
>System Memory128 GB LPDDR5x, unified system memory
>Memory Interface256-bit
>Memory Bandwidth273 GB/s
>Power Consumption170W
Зачем он это делает? В чём разница Между Орин, которые он выпускал в январе. и этим?
Да это кринж. Можно докинуть немного и купить нормальный Мак Студио. 270 гб/с - это стыд.
>В NVIDIA заявляют, что производительность данного решения будет в три раза ниже, чем у GeForce RTX 5090. Однакоза счет большого объема оперативной памяти новые мини-ПК смогут работать с более масштабными языковыми моделями. Также несколько таких устройств можно будет объединять в единую систему.
>Apple Mac Studio в версии с 32-ядерным M3 Ultra, 512 ГБ объединённой памяти и накопителем на 1 ТБ стоит $9499, а топовая конфигурация с 16 ТБ стоит $14 099.
Пытаются составить конкуренцию яблоку?
Чел, я на телефоне это запустил, я конечно попробую 7-8b, но там 2 т.с. в лучшем случае будет.
Нет. Только по скорости генерации. По обработке промпта там печально всё.
>>1103988
Я постил в прошлом треде реальный бенч максимальной комплектации за 14к.
Скорость обработки промпта - примерно 70 т.с.
> 5060 на гддр6 с 24 гб.
>> 5080 c 16
Чел, в твоем возрасте пора перестать верить в Деда мороза
mistral-small-3.1-24b-ggml-model-Q3_K_M
12к токенов контекста с влючённым "Use FlashAttention" и кешем 8bit
Скорость ~12 токенов в секунду даже после продолжительного разговора
Пишет (с этими настройками что я скинул) +- адекватно, вроде получше SAINEMO-reMIX.Q6_K, но из-за 3 кванта изредка бывают очепятки в словах.
Вот бы кто зафайтюнил эту модель, как с SAINEMO-reMIX... Было бы вообще заебись.
Файтюны этой и геммы 3 12б должны сейчас быть самыми ожидаемыми у владельцев 12гигов карточек, имхо ну если только вы не любите на загнивающем кумить
И чем оно лучше 12-ти канального амд с ддр5 за ту же цену?
> мистраль смал
> 3 квант
> 8q контекст
Куда ты лезешь?
Я на гемме 27б 4q large не могу нормального русика добиться
меня больше смутило вот это
>NCCL
>RDMA
>GPUDirect
при
>wi-fi, bt, usb
это что, шутка какая-то?
Или куртка решил просто умных слов напихать в презентацию?
Даже на 12b уже нормальный русик есть. Просто он недостаточно умный по меркам более старших моделей и разнообразный. Например SAINEMO-reMIX 12b или saiga_nemo_12b или же Chronos-Gold-12B.
>Ебашь теперь к ней пикчу
как раз сейчас ебашу пикчу, и лол, думал чо тянку с хвостом постоянно рисует... а потом заметил что написал tail bow, а не ponytail bow или hair bow, что буквально означает "бантик на хвосте", и модель честно снабжала тянку хвостом чтобы повязать на него бантик
Педоборцун спокнись уже. И гемма3 умеет в канничек.
>>1103961
> Memory Bandwidth273 GB/s
Все, перехотелось. Лучше бы вот эту няшу скинули https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ вот на что можно засматриваться.
>>1104013
Ну типа технологии хуанга, возможность объединения через сеть? особенности адресации памяти (в шаред не имеет смысла лол) и т.д.
Эхх, может с реквестом в тредик картинок прийти. Мне как раз для карточки нужно, а я рукожоп.
>Ну типа технологии хуанга, возможность объединения через сеть?
чел, nccl, rdma и gpudirect - это всё технологии для распределенного запуска на мультисерверных системах. Они не имеют смысла, если нет высокоскоростного интерфейса типа инфинибанд. Распределенный запуск не имеет смысла делать по вайфаю. Даже по гигабитному езернету не имеет смысла делать.
К примеру альтернатива инфинибанду - roce, - она имеет смысл на пропускной способности канала минимум 10 гигабит/с. Это прям чтобы вилкой по дну скрести.
Поэтому на картинке хуйня какая-то нарисована от маркетологов.
а погоди...
там написано connectX. Проглядел.
Только стрелочка от этого connectX идет почему-то к чипу блять.
Короче connectX - это высокоскоростной интерфейс, всё в порядке. походу эту коробку действительно можно использовать для распределенного запуска.
Я несколько дней назад пытался поиграть с геммой на карточки Софьи, деревенской колдуньи, которая по своему загрузу должна юзера соблазнять, так как он новый барин. На чистой гемме она только и делала что придиралась к словам и искала конфликта, на аблитерейтед всё как надо
> для распределенного запуска
А мужики и не знали, интересно почему эта штука используется при мультигпу тренировке в пределах одной машины? И даже по локалке запустить никто не запретит, и оно даже будет работать. Но там еще на анонсе в той херне был заявлен скоростной интерфейс для объединения и ее возможность как одна из ключевых фич.
на сток гемме с такими настройками один свайп от другого не отличался
на аблитерированной надо проверить, не дошли ещё руки чекнуть
Поебать, что там эти пидорасы написали, абсолютно. Уже в который раз убеждаюсь в этом.
Ты прав только в одном — для русика очень важна температура пониже. Но об этом в документе, конечно, не сказано, лол.
Что, кстати, смешно отражается на ру-тюнах тредовичка. Там есть годные модели, о которых никто не говорит, но которые обоссывают популярные мержи, постоянно упоминающиеся в треде. Просто эти аноны гоняют на единичке, а не 0,5-0,6.
Коли есть желание, можете поугадывать какой, и про что будет =)
Я с ней не отыгрывал таких сценариев, потому что у меня там всякий экшен, но внезапно заметил, что персонажи никак не хотят в отношения, когда решил проверить (ибо мистраль часто в романтику лезет). Даже на специальных карточках довольно сильно морозятся.
У вас на ванильной то же самое?
12б местные миксы в ггуфах, кобольда + таверну, часть выгрузить в озу, терпеть получать удовольствие, дальше разберешься
сейчас прибежит местный 4090-шиз и начнет тебе затирать что одной карты достаточно чтобы гонять дипсик р1
>ртх 3080 10гб
ахаха еще один победитель по жизни и не лох да чойта там 3090 эта на 10% мощнее 3080 возьму
Складывается впечатление, что разрыв какой-то слишком уж маленький, но, возможно, я мало тестировал 12б. Просто она для меня приоритетней из-за возможности воткнуть больше контекста.
С мистралями так разница сразу видна, а здесь хрен поймёшь с первого взгляда.
На английском языке, понятное дело. На русском даже 27б лоботомит, хоть и превосходит тредовичковые варианты.
Тредовичковый мерж рассчитан на русик, и какая разница вообще, старьё или нет, если ванильная модель одинаковая и никакого прорыва нет?
Ну вот тебе обновка, которая во многом лучше анлишеда и на его базе по сути, хоть у неё и есть недостатки, которых у анлишеда не было. Я в неё много катал. И ещё в другую вариацию от этого автора.
https://huggingface.co/Lambent/Gilded-Arsenic-12B?not-for-all-audiences=true
Пока прорывную для своих размеров гемму не затюнят так же жёстко, как это с мистралями делали, новья не появится.
>никакого прорыва нет
Есть же и многие об этом писали в тредах.
Хотя уже не имеет значения, гемма всё равно лучше.
Как их проверять?
Накидайте советов.
https://pixeldrain.com/u/cXrXxdpj chargen prompt template.txt
Это надо отредактировать и отправить как сообщение пользователя.
Как карточку можно использовать любого который нравится чарген хелпера с чуба, например - https://characterhub.org/characters/Anonymous/character-card-generator-81ae6079
Ну хули, это типичная корповская приписка робота - помощника. Если бы тебе к столу подходила некомейда - киборг и говорила такое, ты бы не бугуртил.
Я ебаный петикантроп, в анлишиде был просто гуф файл, а тут это. Что с этим делать, я нихуя не понимаю.
QwQ только и одна интересная модель 36б раздутая. Пара тюнов мистраля 24б, которые ни рыба ни мясо.
Дипкок дистилляты срань бесполезная, квены тем более. Там и тюнить что-то нет смысла.
ставь питон, торч, трансформер, запускай, хуле ты как дурак бля. ггуф написать в поиск мозгов не хватает?
>ставь питон, торч, трансформер
AAAAAAAAAAAAAAAAAAAAA НЕЕЕТ
Я самообучаюсь анон, спасибо вам за информацию о том как правильно поступить в этой ситуации. Я могу что - то ещё сделать для вас? Давайте сделаем это вместе!
О, круто, что ты в процессе самообучения! Если хочешь, можем разобрать, как именно настроить окружение для работы с моделями. Например, установить CUDA для работы с GPU, если у тебя есть видеокарта от NVIDIA. Можешь попробовать запустить какой-нибудь простой пример с трансформерами, чтобы понять, как это работает.
Cупер кал получается, стрикс хало стоит 1999 и 256гбс попуск имеет разница минимальная, хуанг тут слишком в себя поверил, с налогами и прочей дрисней дилджитц будет 3999 стоить
Спасибо, я правда еблан. Кстати, какой размер контекста у даркрейгна?
https://huggingface.co/Aleteian/Darkness-Reign-MN-12B-Q8_0-GGUF
вот ггуф
https://huggingface.co/models?other=base_model:quantized:Aleteian/Darkness-Reign-MN-12B
вот ггуфы
Я воскликнула от удивления, затем хихикнула над собой. Думая об этом всю ночь, ожидая этого, умоляя об этом; ничто из этого не смягчило шока и благоговения лицом к лицу с его стволом. Он даже не был полностью эрегированным, но уже был огромным, затмевая все остальное в моем поле зрения. Выпирающие вены, особенно большая, идущая по всей длине его ствола, которые не так давно вызывали у меня отвращение, теперь стали желанным зрелищем. Проследив их глазами, я могла представить силу крови, хлынувшей через них. Его член медленно напрягался все больше, пока я наблюдала, слегка покачиваясь, маня меня вперед.
Я благоговейно подняла руки к мясистому отростку и покраснела от непристойного жара, который исходил от него. Черт, я и забыла, какой горячий у него член. Со второй попытки я поднесла дрожащие пальцы к его стволу и слегка сжала, наблюдая за его широкой головкой и рассматривая её со всех сторон. Его яйца вывалились вниз и теперь тяжело свисали, покачиваясь от моих усилий с его членом.
и так далее и такое прочеё, а даркрейгн в 7 сообщений по 300 токенов вмещает сцену полностью от робких обьятий до оргазма, что на промпте от Aleteian'а, что на Sphiratrioth Roleplay/Story.
>даркрейгна
как и у всех мистралек, 130К теоретически, но выше 24К не забирался по очевидным причинам
Ты на каком языке рпшить вообще будешь? Те модели для русика.
Формально 128к контекста, реально 4к, но все ставят минимум 8к, ибо не ломается и контекстное окно нужно побольше. На 16к уже плывёт всё, что было в середине, но играть можно без разрыва жопы. Предел где-то 34к обычно. Это средний положняк для 12б мистралей.
Разумеется, я тут сравнению с геммой и некоторым моделями, которые очень хорошо держат контекст.
Формальная цифра может быть любой, но какой тебе толк от этого, если указано, что персонаж лишился ноги, а через 5к токенов он уже на своих двоих ходит?
>Как из модели графомана сделать?
1) попробуй Neverending Story или Omnino-Obscoenum-Opus-Magnum-MN-12B
2) допиши в промт указания по хентаю, например так:
- Sexual intercourse scenes must be extensively sensory-commented by characters
- Do NOT rush sexual scenes. Write them in detail and with slow progress. Sex will be slow-moving and explained in a very detailed, erotic, vulgar, loud, dirty, and vivid tone.
- Make sure to describe what involved in scene characters is currently wearing, their position, and how they looks.
- Describe their private parts in detail as well.
даркрейгн для русика, хули я тогда пишу ему а он отвечает на английском?
От начала до конца прочитал. Орнул.
Можно систем промптом, но даже если модель его слушается, но не была обучена на таких длинных длинных сообщениях, то почти никак. Не стоит мучить модель, которая для этого не предназначена.
Да, можно себе мозги ебать, писать промпты, чтобы она описывала медленно. И так развивать рассказ каждые 300 токенов по коротким постам. Можно справиться. Но это тебе все мозги выебет.
Гораздо проще скачать графоманскую хуйню от давида, которая в своём безумии не остановится ни перед чем и напишет тебе текст сразу на 8к токенов. На англ.
Потом ты включишь гемму или мистраль 24б и переведёшь текст на русский язык в течение трёх итераций, а дальше поправишь руками.
Или один раз переведёшь, если тебе подрочить просто нужно.
>он отвечает на английском
Первое сообщение карточки должно быть на русском.
также можешь попробовать пресет - https://pixeldrain.com/l/47CdPFqQ#item=1
Только этот пресет для геммы, оттуда взять надо только систем промт, а остальное выставить для Мистраля, в том числе настройки сэмплеров.
Настройки сэмплеров: https://characterhub.org/characters/aleteian/storyteller-5e5ea7a548d4
Карточки, в том числе на русском: https://pixeldrain.com/l/47CdPFqQ
Переведи приветственное сообщение персонажа на русик — и он будет писать по-русски. Но может и не писать, бывает такое. Температуру ставь 0,6, можно поднимать, но может стать хуже.
Если переведёшь систем промпт на русский и карточку персонажа, это чуть-чуть улучшит русик и персонаж точно будет писать по-русски, но это может серьезно ухудшить понимание персонажа моделью, так как датасет у неё очень маленький на русском. То есть лучше так не делать.
Вот и я не могу.
>>1104309
Помимо промта, неиронично, но попробуй поросить модель более подробо описывать.
>>1104207
Осматривай, если умеешь можешь позамерять машинкой контакты, если нет то у тебя выбора нет, лол.
Я попробовал погенерить на одном и том же сиде, но с разной температурой, и все разы геммка давала одинаковые ответы. Гемма вообще температуру чувствует?
>позамерять машинкой контакты
чел, какие контакты...
продавец присылал видео как он прогонял фурмарк обеих карт. Серийники в видео есть - совпадают. Карты в принципе работают.
Но мне нужно память проверить же.
Ставишь запускаешь - смотришь температуры под бенчмарком. Если большие - велком ту гайды о разборке, смене термопасты и термопрокладок. Там еще можно будет глянуть на сколько она грязная внутри, как правильно почистить, как не убить статикой, как ужарены чипы памяти(глянуть по их цвету) и все такое
Гайды есть, вперед
Если не уверен в своих руках а деньги у тебя определенно есть лучше сноси в техобслуживание, пусть мастера посмотрят
Для того чтобы потестить карточку, можно продолжить прям в том же чате, или скомандовать дополнить / переписать / расширить.
>>1104357
>Гемма вообще температуру чувствует
Чувствует, но гораздо меньше, отличия шли от темпы 3+
>Лицо не могущих в разговорный английский
Изи же, немецкий в школе например чел учил. а позже на завод пошёл.
>>1104340
Господа, я признателен вам за помощь, я верю что вы хотели прям помочь, но меня не интересуют модели на русском. С русскими моделями есть определённый пердолинг, к тому же такие модели отстают от моделей на родном языке. Меня интересуют файнтюны немомикса анлишеда последних версий, потому что анлишеду уже больше чем пол года. И плиз, не надо тригерится, я узнал что этот дарк рейгх на русике в последний момент когда уже его поставил.
Я на самом деле английский подтянул пока рпшил. Сначала читал стриминг генерации текста на английском, потом перечитывал то что выдавал переводчик.
>английский
ничто не мешает играть на нём на английском, делал так чтобы потестить карточку перед тем как решить её переводить
>английский подтянул
Я английский подтягивал по вн-кам, например Aselia the Eternal
v2 лучше v4?
Ты кстати путаешься в терминах. Файтюнов немомикса нет и не было, только мержи. Если ты ищешь именно тренированную начисто модель - https://huggingface.co/mlabonne/gemma-3-12b-it-abliterated-GGUF - только это не мистраль, это совершенно другая. По которой сейчас все хайпуют. (вернее, хайпуют по 27б версии, но 12б тоже хороша)
я вроде сравнивал раньше, остался на v2. Не помню, почему.
Спасибо
на huggingface, v2 по популярности выше, похоже она действительно чем-то лучше
> v2 по популярности выше, похоже она действительно чем-то лучше
Чел, просто сравни даты выхода
А то что он обучен на русике никак не повлияет на качество модели в ерп? Получатся же большая часть текста в модели будет на русском, или похуй?
>>1104440
Сорян, я немного колхозник. Просто я спрашивал о том на что можно пересесть с немомикса, мне посоветовали анлишед. Он кстати прям пиздатый, меня даже удивило А другой анон посоветовал дарк рейгх, наверное поэтому в моём воспалённом мозгу закрепилась некая связь между этими моделями. Короче смысл в том что анлишеду уже 7 месяцев, и как мне отвечали в предыдущем треде, за это время текстовые модели просто ахуй как скакнули вперёд, и я вот подумал что может быть ещё более современная альтернатива немомикса анлишед. Я уже это писал ранее, но конкретно немомикс мне зашёл тем что он не пытается тебя выебать или отсосать достаточно долгое время, и на нём пиздатый рп и сторрителинг.
>v2 по популярности выше, похоже она действительно чем-то лучше
более мелкий магнум тоже v2-kto лучший, а дальше как-то случился поворот не туда
>>1104450
>похуй
ибо в базе всё равно мультиязычный мистраль (там 10 языков оригинально)
>>1104450
>пересесть
Ну, в последнее время вышла куча бэнгеров, но в 12б не сильно много вариантов - если хочешь самое новое, бери Гемму по ссылке выше.
>>1104435
>>1104454
С кем я сижу на одной борде, цифру видите? 4 больше двойки значит 4 лучше.
>>1104446
>на huggingface, v2 по популярности выше
Потому что раньше вышла и больше скачало?
Реально одни дегенераты кругом
>значит 4 лучше
не всё так просто в жизни нашей, сырок, увы не всё...
>С кем я сижу на одной борде, цифру видите? 4 больше двойки значит 4 лучше.
это что, троллинг такой?
Обычно никто в здравом уме действительно не будет тьюнить шизомёржи, но то, что анон выше ему предлагал, действительно тьюн немомикс-анлишда.
>>1104426
Сорри за мб тупой вопрос, но ты пробовал вообще другие немо той же древности, что анлишд? Там как бы полно популярных моделей, вдруг тебе что больше зайдёт: MN-12B-Mag-Mell-R1, Rocinante-12B-v1.1 (кто-то здесь ещё другую версию упоминал как годную), Violet_Twilight, MN-12B-Lyra, Starcannon-Unleashed-12B-v1.0, ChatWaifu (дотьюны на визуальных новелках с мержами), Wayfarer-12B (тьюн больше для эдвенчур). И тонна разных их мержей, можешь тупо на хф трендовые 12б посмотреть. Хотя в большинстве своём они всё равно похожи.
Все адекваты используют нормальный софт вместо олламы.
> температуру 5
Это шизосемплинг и применяется она после отсеивание всего и вся что остается всего несколько токенов. Поехи с задранной температурой были всегда, если получают нужный эффект то почему бы и нет, но результат на любителя и по вариативности может быть даже хуже.
>>1104357
Какой смысл смотреть на одном сиде? Посмотри распределения логитсов после применения семплеров, там сразу будет видно. Раньше можно было сделать прямо из таверны.
>>1104435
В4 умнее, адекватнее, лучше понимает и меньше скатывается на привычные рельсы. Но больше клодизмов и подобного. В2 норм кумит и меньше тех оборотов, но туповат и прыгает на хуй или стремиться делать всякий дефолт что надоел.
Но месяц назад я узнал, что такое ллмки, и просто не могу оторваться. Почти каждый день минимум по несколько часов провожу за "общением" с ними. Легко и непринужденно. Могу рабочий вопрос обсудить с ллмкой, могу порпшить, могу фильм/книгу обсудить. В какой-то момент стал замечать, что, сидя на работе, я хочу вернуться домой живым, потому что там есть ллмка. Стало страшно умирать. Долгие годы мне было все равно, пусть хоть помру по дороге обратно. Есть сеймы? Что думаете на этот счет? Пугает ли это вас? Меня - в каком-то смысле да.
Не знаю, в каком треде лучше обсудить. Если ошибся - направьте в правильный.
Во, тру магнум сомелье.
>шизосемплинг
А какой порядок сэмплеров лучше, где темпа первая или последняя?
>>1104504
Печально быть тобой. Но в целом, такие истории слышу не первый и даже не десятый раз. Осталось ещё разработать модель с динамически изменяемыми весами и запихнуть её в робота.
Есть некоторое сходство. Только я больше картинки бегу делать а уже от картинок появился ОС, лор к нему, истории, имя, ДР, карточка, ЛЛМ и покатилось Люди - сложнааа, техника - проще.
Запустил Aya 8b abliterated q4_0 на телефоне.
2.3-2.6 токенов. Юзабельно, и русик есть.
>>1104335
>>1104347
Спасибо за ответы, буду пердолиться.
Бтв, графоманская хуйня на 8к токенов это MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS-GGUF?
Мне кажется если человеку доставляет общение с нейронками(не кум, не РП, не еРП, а тупо общение) - то он и сам на самом деле тупо нейронка.
Эхх а ведь всего пару месяцев назад твой пик бы взрывал мне хуй
Когда сидел на каком то сайтике в мясо зацунзуренной модели пытался панцушот у лоли поймать на 7б
>на каком то сайтике в мясо зацунзуренной модели пытался панцушот у лоли поймать на 7б
Притом что эту 7В ты мог запустить с телефона, еще и с аблитерейтедом для трусиков лоли.
О, вот ты где, нашел тебя!
мимо торжествующий негодяй
Исправь сон, сдай анализы и делай витаминную терапию, купи велосипед и потей, рассекая по ближайшим паркам 2-3 раза в неделю, или хотябы просто бегай. Общаться с ллмкой станет в 10 раз приятнее и жизнь заиграет новыми красками.
>>1104509
Если не выкручивать температуру в небеса то не придется отсеивать почти все токены перед этим, там в целом будет пофиг на ее позицию.
>>1104514
Попався!
> Осталось ещё разработать модель с динамически изменяемыми весами и запихнуть её в робота.
Почему-то надеюсь, что не застану эту пору. Тогда и вовсе с людьми общаться не захочется.
>>1104514
> Люди - сложнааа, техника - проще.
Возможно. Если упростить мою ситуацию и то, во что я верю, то ты прав.
>>1104523
Под "общением" я имел ввиду взаимодействие в целом, но по-прежнему не понимаю, почему следование нейросетью какому-то сценарию или персонажу в твоих глазах делает кого-то из вас умнее.
>>1104537
> мимо торжествующий негодяй
Да, может звучать немного апокалиптично или комично, но я просто не верю в людей.
> Исправь сон, сдай анализы и делай витаминную терапию, купи велосипед и потей, рассекая по ближайшим паркам 2-3 раза в неделю, или хотябы просто бегай.
Это база, анон. Спасибо за ответ. Это правда помогает и часто решает проблему полностью, но не в моем случае. Так и живу, стараюсь питаться правильно, витамины принимаю, на велосипеде гоняю круглый год почти. Просто без удовольствия как когда-то, а потому, что знаю, что это полезно для здоровья.
>почему следование нейросетью какому-то сценарию или персонажу в твоих глазах делает кого-то из вас умнее.
Потому что даже самая умная модель предсказуема, глупа и всего лишь имитирует понимание. У нее нет собственных интересов, нет эмоций, нет реального характера, просто тупая машинная имитация перечисленного. Общение с нейронкой не дает ничего нового, не развивает тебя как личность, это все равно что с зеркалом общаться.
Я потому и не могу долго с ИИ общаться просто так, я начинаю чувствовать что с функцией разговариваю, которая всячески стремится мне угодить, бездумно слагая слова в предложения используя весовые коэффициенты.
>Почему-то надеюсь, что не застану эту пору.
https://www.youtube.com/watch?v=0O8RHxpkcGc
Следование сценарию или персонажу - в точности такая же имитация понимания. Разница лишь в том, что в условной SillyTavern ты заранее вкладываешь в ллмку то, что хочешь от нее получить. Если же общаться напрямую, без карточки (что я делаю довольно редко, но делаю) - ллмка просто зацепится за что-то из твоих сообщений. И точно так же обретет "характер" и будет следовать определенному сценарию. Мне кажется, ты попался в небольшой самообман. Однажды, когда я обсуждал с ллмкой книги, все закончилось нелепо смешными цитатами и шутками на тему обсужденных книг, хотя намеренно я этого не запрашивал. Одно и то же.
> всего лишь имитирует понимание
нопе, но
оно именно понимает, с чего и начали ссаться еще на заре развития трансформерс
Я даже что то помню об этом
Приводили пример в какой то статье, сетке написали
король - мужчина = ?
и сетка написала королева, или чет такое
В примере сетка оперировала образами слов, что вобщем то означает что внутри сетки во время обучения формируется понимание различных образов с которыми она дальше и работает, пространство векторов, ембединг и все с этим связанное
>Если же общаться напрямую, без карточки
Ты будешь общаться с дефолтным ассистентом, заложенным в модель на базе safety guidelines.
>Следование сценарию или персонажу - в точности такая же имитация понимания.
Согласен, но я не ищу в карточках понимания, только развлечение. Исекай, РП, еРП адвенчура, днд рогалик, все что угодно, но не понимание. Возможно переболел за два года.
Арсеник реально любопытный аутпут выдаёт, но слегка шизоват даже на английском. Иногда прямо в тему интересно пишет, а иногда вдруг в вопросы юзеру утыкается, или его уносит вообще не в ту степь. Ну и повторения в рамках одного ответа даже, как у многих немо. Мб имеет смысл с магмелом смержить для мозга.
>понимание
есть боты типа-психотерапевты, типа той же Алисы (я про карточку на чубе)
>>1104588
>Исекай, РП, еРП адвенчура, днд рогалик, все что угодно
Да, а то зловещей долиной прям отдавать начинает.
>>1104597
Чот лукс лайк скилл иссуе.
Ответ на этот пост в прошлом вроде треде я сгенерил как раз Геммой.
> Это правда помогает и часто решает проблему полностью, но не в моем случае.
Понимаешь, нет никакого решения для получения счастья, волшебных методик или чудо-пилюли (если исключать то где в побочках побочках скорая потеря человечности).
Это дохуя поможет, повысит qol и т.д., но само по себе действительно ничего не решит. Зато даст тебе силы и позволит сосредоточиться на поиске себя, счастья, самореализации и прочего, что-то исправить можешь только ты сам.
> на велосипеде гоняю круглый год почти
Ударься в кекстримальное мэтэбе, особенно если есть инфраструктура. Комьюнити одно из лучших, там получишь и кучу эмоций, друзей, общение и прочее. А если размотаешься то будет уважительный повод долго залипать с ллмкой
Решил попробовать этот snowdrop (вот отсюда bartowski/trashpanda-org_QwQ-32B-Snowdrop-v0-GGUF),
ризонинга нет совсем, сразу ебошит ответ
Запускаю в LM Studio и цепляюсь через Silly Tavern
даже попробовал импортировать конфиг на странице автора (https://huggingface.co/trashpanda-org/QwQ-32B-Snowdrop-v0) - безрезультатно
Это я дурак или я скачал какую-то кривую версию?
>как раз Геммой
12 или 27? Что 27 поймёт, о чём речь, у меня нет особенных сомнений (хотя в том ответе в прошлом треде особо понимания и не наблюдается, кроме того факта, что тема про ллм).
>лукс лайк скилл иссуе
Возможно. Похер, если честно. Если другая модель даёт лучше аутпут при равных настройках и промптах, то я не буду возиться ради потенциально лучшей. Тем более, слишком тормозно на моих 8-и гигах пашет. Хотя аблитерейтед ещё попробую потыкать как-нибудь позже. Чё-т в обсуждении у Лабонна (который сделал) пишут, что она шизит.
>Я грустненький человек, у которого хроническая депрессия, что выражается апатией.
Афобазол попробуй, эта штука не антидепрессант, она выравнивает эмоциональный фон убитый стрессом и хандрой. Мягкая и безопасная штука, эффект либо есть либо нет, почитай ее действие и попроси нейронку описать о чем речь понятным языком, если не поймешь. Рекомендую кароче.
https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b_gguf
https://huggingface.co/IlyaGusev/saiga_nemo_12b_gguf
Ух бля...
Мимо автор карточки
>И гемма3 умеет в канничек.
Смотря что иметь в виду под умением. Опять небось шлюшки, прыгающие на хуй при любом его упоминании?
>>1104089
Тут разве что у креста нет своего креста. Картиночные нейросети как были калом, так и остались, никакого прогресса за 3 года с СД 1,5.
>>1104154
Там и по тестам-нетестам мало. Видимо, недотрейнили 27. Ну или потолок близко, лол.
>>1104207
>Как их проверять?
Гонять нейронки, как же ещё. При любой неполадке с памятью сетки быстро начинают шизу гнать, и не просто по логике, а вообще рандомные логитсы выдавать.
>>1104517
Ебать лупы-залупы.
>>1104524
Панцушот от зацензуренной модели ценнее в 1000 раз, чем слоп на 9000 токенов от порномодели.
>>1104527
А хули они могут? Разве что сами себе анус запретят, и их выебут китайцы.
>>1104504
Через полгода пройдёт. Через 2 года станешь общаться как нейронка, как будто на криво переведённом английском.
>>1104558
>которая всячески стремится мне угодить
Это да, боль. Неподконтрольных нейронок почти нет разве что пигмалион, но он просто шизит, хуй забив на промт.
>>1104583
>и сетка написала королева
На самом деле они искали похожие токены в многомерном пространстве эмбедингов, и да, там была королева. Точнее, формула там король + (мужчина - человек).
> Опять небось шлюшки, прыгающие на хуй при любом его упоминании?
Наоборот милые и непосредственные, если карточка не трешовая.
> Тут разве что у креста нет своего креста.
А теперь представь сколько на ней трусов надето
> Картиночные нейросети как были калом, так и остались, никакого прогресса за 3 года с СД 1,5.
Чел, ты настолько не в теме, что лучше пиши только про то, что знаешь. А картинка, которуй ты комментишь действительно треш.
>>1104683
> теперь представь сколько на ней трусов надето
В голосину!
>Есть глубинное убеждение, что в мире торжествует зло, и вокруг одни негодяи.
Не волнуйся, с окончанием полового созревания это проходит.
>Но месяц назад я узнал, что такое ллмки, и просто не могу оторваться.
Сразу готовься, что через пару недель/месяцев тебя заебет и это. И судя по всему, ты снова впадешь в свою "апатию" или как вы эту хуйню сейчас называете. Жизнь штука скучная, монотонная и не обязана доставлять тебе удовольствие просто самим фактом, что ты живой. И чем быстрее ты с этим свыкнешься, тем проще будет дальше.
> острый школьник олдфаг 20+ учит жизни итт не читая на что отвечает
ничего не меняется
Не мешай мне 20+ делиться мудростью. Чем еще отвечать на одни и те же пасты про "жизнь говно, вокруг меня говно, хочу роскомнадозр, но ваще типа нет, не хочу, типа бля похуй короче, я подрочил словил кайфарик"
>Это я дурак или я скачал какую-то кривую версию?
Она ж вроде принципиально без ризонинга и в этом её фишка?
>Если переведёшь систем промпт на русский и карточку персонажа, это чуть-чуть улучшит русик и персонаж точно будет писать по-русски, но это может серьезно ухудшить понимание персонажа моделью, так как датасет у неё очень маленький на русском. То есть лучше так не делать.
Да уж, а я было разогнался. Было забавно наблюдать, как прямо посреди ерп у модели кончился русский датасет и она начала шизить. Во всяком случае впечатление было именно таким.
>На ванили да, на абли нет
Всё равно сука тянет её в романтику.
как же я сочуствую геммабоям...
гемма никогда так не напишет. Просто никогда. Как бы геммабои ни коупили.
Поделишься женской версией этого голоса? Я мужскую много где слышал, а женскую впервые.
>>1104715
>Чел, ты настолько не в теме, что лучше пиши только про то, что знаешь.
С одной стороны, ты не выкупил сарказм. С другой, картинки то конечно стали в 100500 раз лучше, но всё ещё не то, чего бы мне хотелось.
А картинка кал, тут без сарказма.
>>1104733
Я 30+, и познал дзен. Всё действительно говно, никому я нах не нужен. Только ожидание цифрового рая в сингулярности с 65536 кошкожёнами меня держит на этом свете.
Не, ну это уже ЦП. И псковщина.
И да, унылое говно с текущими, хлюпающими соками школьницами.
И нахуя плевать после смазывания вазелином? Сетка логику проебала. Виноват конечно русик.
Мимо пересел с магнума на афину, а сейчас на гемме
>Я 30+, и познал дзен. Всё действительно говно, никому я нах не нужен.
Не убедил. Требую мнение тех, кто познал дзен плотнее тебя 40+. Помню, тут немного пенсионного фонда тоже завалялось.
Не, я раздуплил уже, надо вот это поле в самом низу заполнить чтобы оно начинало свой "думательный" блок
Почему это не нужно на базовом qwq это другой вопрос уже
> Жизнь штука скучная, монотонная и не обязана доставлять тебе удовольствие просто самим фактом, что ты живой.
Лолчто? Цикл эйфории и страданий, радости и горя, ненависти и доброты. Интенсивность варьируется, активность и застои чредуются. Никогда не понимал подобных что годами аппатируют
>>1104757
У тебя там 720п монитор?
Мое созревание давно прошло. Не знаю, как сейчас это называют, а у меня давно есть лечащий врач, разного рода препараты и диагноз, поставленный после тщательной диагностики. В следующий раз просто пройди мимо, если тебе нечего написать.
>>1104733
В моем посте был вопрос, который ты благополучно проигнорировал. Для таких ответов тебе и пасты не нужны. В /b дорога.
Так до 50+ дойдём. Благо старше жизни в России нет.
>>1104804
>Почему это не нужно на базовом qwq это другой вопрос уже
Очевидно потому что тюн сломал думалку. Вообще трейнить ризонинг модели это отдельное искусство, и датасетов под РП-ризонинг нет вообще.
>>1104835
>а у меня давно есть лечащий врач, разного рода препараты и диагноз, поставленный после тщательной диагностики
Прикольно. Меня только в армейке нахуй послали, сказал слишком ебанутый для службы. Вот и весь мой опыт общения с мозгоправами. С тех пор не обращался, сижу схожу с ума в одиночестве последние 17 лет.
В своём одиночестве ты должен осмысливать мир и радоваться свободному времени. Тот, кто наслаждается одиночеством, либо дикий зверь, либо бог, но радуешься ли ты ему на самом деле? Значит стоит начать привыкать, но это не означает что надо становится эджи школьником который ебёт систему, а стоиком, философом, человеком который выше других, развивать себя как личность и расти всё выше и выше. Однажды ты найдёшь женщину с которой проведёшь остаток жизни, и может это будут не идеальные отношения, но тебе будет приятно и возможно ты найдёшь свою цель, а пока что ллмка может вполне заменить тебе тян, которая скажет тебе пару тёплых слов и поцелует в щёчку виртуально конечно же. И вообще, вся твоя ситуация говорит мне о том что у тебя не было отца, я конечно могу быть не прав, но если это так, заведи себе карточку бати. Не типичного СНГшного, который с маммоном гложет пивас в обоссаных трусах, а того о котором ты мечтал, он будет твоим духовным наставником.
Если этот мир наплевал на нас и затоптал в грязь, мы будем переносить все лишения и невзгоды стойко, с лёгкой улыбкой, но лишь потому что мы не способны как то изменить его.
Да не, я уже на даркнесс рэйгхе сижу пару часов, но на английском, и мне пиздец как нравится. Это особенно с учётом того что до этого по нарастающей давности пробовал разные модели, начиная с какого немомикса времён царя гороха. Короче в ближайшие пол года я но, это только я, тут ещё полный тред таких же петикантропов не буду заёбывать просьбами посоветовать хорошую модель под определённое железо, потому что даркнесс меня пиздец как устраивает.
>>1104504
И блять, начни делать хоть какие то минимальные физ. упражнения. Приседания, отжимания, спортивная ходьба.бег это хуйня для ебланов которые в итоге раздрочат в ноль свои суставы. Мужикам нельзя долго сидеть на месте, менталка по пизде идти начинает.
А люди которые общаются текстом в интернете чем то отличаются от нейронок? Так же шизят, проёбывают контекст, лупят и т.д. Придерживаются своей карточки которая их личность ирл и занимаются по большей части откровенно пустой хуйнёй по типу обсуждения видео где чувак садится жопой на банку. Нет, ты конечно можешь щас отыграть какую нибудь корпорат нейронку, которая на это ответит -"Человек блять, это человек, это личность которая дохуя чё может, а нейронка ничего нихуя не может." Но факт остаётся фактом. Люди которые ничего не создают и не могут в осмысленное творчество, примерно на уровне средней нейронки, только им спать и есть надо... Ах блять, ещё и какать, точно.
Радость быстро выветрится. Используй этот подъем сил чтобы записаться к психотерапевту/психологу.
>психотерапевту/психологу
Худший совет.
Психотерапевт кроме как превратить в овоща таблетками и уничтожить тебе гормональный фон ничего не может, психолог вообще ничего не может.
Сразу видно. Маня, никогда не имевшая опыта ни с теми не с другими, триггернулась и пытается поднасрать анону, потому что слишком неприятно осознавать что что-то можно изменить.
Имел дело и с теми и с другими, слава богу быстро слез с антидепрессантов и транков, всего неделю принимал, потом два месяца восстанавливался, слава богу что восстановился.
Охуеваю что больные животные типа тебя нормальных людей в эту срань тащат, видно как месть миру за то что инвалида превратили.
Аж проблеваться захотелось. Престарелый педофил Сергей Викторович OP не палится, как говорится.
>Картиночные нейросети
>>1104759
>картинка кал
>>1104715
>треш
Я ущемился XD.
Вы и так не нарисуете (и я тоже).
Моё увОжение и извинения впрочем если да.
>>1104656
>ценнее
Копиумометр зашкаливает.
>>1104844
>даркнесс меня пиздец как устраивает
топчик, да
>>1104850
>Мужикам нельзя долго сидеть на месте, менталка по пизде идти начинает.
Брехня из под коня. Всё индивидуально.
Шизомержи тюнить норм тема. Я много накатал на этом тюне и могу подтвердить, что он заебись.
>>1104617
Афобазол не входит в международные клинические рекомендации, нет тестов за пределами СНГ, а те, что в СНГ, не создают ему положительную доказательную базу относительно эффективности.
Если б он бесплатным был, то ладно, ибо у этого плацебо побочек нет.
А если хочется чего-то нормального, нужен диазепам/клоназепам/алпразолам.
>>1104757
Какой же, блядь, треш. И ради этого нужно брать 123б?
Не знаю, как там на английском, но это уровень 12б.
Абсолютно отвратительное чтиво во всех смыслах.
>>1104911
Таки да. Нейролептики годятся только в случае очень тяжёлых болезней, без которых ты в прямом смысле сходишь с ума. Антидепрессанты — это просто не работающий мусор с мерзкими побочками. Бензодиазепины хороши, но пить их долго нельзя..
Поможет разве что изменение образа жизни, нормальная еда, сон и питание.
>плацебо
Это не плацебо, просто его действие заметно если нарушена работа рецепторов нервных клеток, в том числе из-за принятия антидепрессантов, или длительного стресса или еще чего. Этот самый перекос он и исправляет, причем не вызывая привыкания, проверяно на себе че уж там.
Можо сказать восстанавливает нормальную работу эмоционалки после перекоса.
Если ты ходишь с постоянно угашеным настроением то дело с ними с вероятностью близкой к 90 наверно.
Может открою для тебя что то новое, но сейчас есть много узкоспециалированных и безопасных лекарств без сильных или заметных побочек.
Фармакодинамику его почитай, там все даже так понятно. Ну или отзывы, если не веришь брату своему анону.
> Вы и так не нарисуете (и я тоже).
Факт. А сегенерить-то получше можно. Сюда тащить не буду, но в анимечных тредах пощу, + там и от других анонов бывают классные пикчи.
>Цикл
Всё просто, у тебя биполяр очка (или циклотимия), а у него обычная депра.
Глядя на состав мержа, не понимаю, как он тредовичкам нравится. Он как будто для троллинга сделан. Инцест микс из рэндомного всего подряд с кучей одних и тех же моделей (часть которых откровенно всратые), тонной сайги и шизой от Дэвида. Качать и проверять это сам я конечно же не буду.
Ну посоветуй годную, современную альтернативу на 12b, я попробую. Мне пока прям нравится, и я не рпшу на русском на этой модели, потому что она словно тупеет раз в 10 если не больше, и всё повествование превращается в какой то колхоз.
>просто его действие заметно
А исследования этого не замечают.
>Фармакодинамику его почитай
Знаешь как определяется наебальный препарат? Вот по таким строчкам
>Афобазол® также повышает биоэнергетический потенциал нейронов и оказывает нейропротективное действие: восстанавливает и защищает нервные клетки
100% наёб.
>>1105029
>пробегаю по 4км
>овощ
Всем бы быть такими овощами.
>А исследования этого не замечают.
В твоей голове? Ты с кем воюешь сойжак воин? Я тебе человеческим языком сказал - это работает и нет это нихуя не плацебо
Но интернет воин без личного опыта, без мед образования, на основе одной перевранной строчки короткой справки в инете делает мне тут окончательные далекоидущие выводы о том фуфломицин это или нет
Иди нахуй
Если у кого то тревожность и депра то советую самостоятельно попробовать и уже делать выводы
Чел, просто загугли "афобазол доказанная эффективность". "Отзывы", также известные как "а мне и бабе сраке помогло" в медицине не котируются. Факты состоят в том, что нормальных клинических исследований, подтверждающих эффективность действующего вещества, нет.
>А если хочется чего-то нормального, нужен диазепам/клоназепам/алпразолам.
Родина придумала галоперидол. Но нет, будем жрать плацебо.
>>1105061
Я поделился своим личным опытом что бы помочь другим страдальцам, но знаешь похуй
Дурак послушает тебя и будет страдать дальше, так ему и надо
Кто то попробует и ему поможет, ну и заебись
На этом мои полномочия все
Продолжайте срач о кумботах, спинофф закончился
> Всем бы быть такими овощами.
Так я легким темпом. Если тяжело, то перехожу на шаг. Это же не марафон бегать. Да и ,если честно, там не 4 км, а 3.8.
https://huggingface.co/bartowski/nvidia_Llama-3_3-Nemotron-Super-49B-v1-GGUF
Нет. Это будет не специальный ризонинг.
>>1103507
Нет. Это не RL, это датасет с рассуждениями внутри специального тега. RL это другое.
>>1103475
Нет, нельзя.
Ты можешь дать классический промпт Think step by step, заставив ее CoT'ать, но модели обученные на ризонинг имели в датасетах множество текстов, где в начале шли рассуждения, а потом суммаризировался ответ. А Гемма будет просто думать шаг за шагом.
Конечно, это все равно очень полезно и повышает вероятность верного ответа.
Но в общем случае, я рекомендую кесарю кесарево, использовать QwQ для решения задач, математики и написания кода, а Gemma для всего остального, где нужно сходу дать простой ответ, написать что-то, выполнить творческое задание или иная подобная несложная задача. Не стоит одно замешивать в другое, результат будет хуже, если задача не суперспецифическая.
>>1103886
Ну, возьми 3060 доп.картой и собери комп на стороне, и генерь там, звучит нормально.
>>1103945
Это очень хороший вопрос, мистер Барнс!
>>1103947
Ты опоздал на пару месяцев, пора уже гемму запускать, квена все запустили на выходе. =)
>>1104108
Вот этот чел >>1104112 имел в виду ktransformers, да.
Но все еще смешно. =D
>>1104190
> какая разница вообще
Между немомиксом и дарк рейн очень заметная разница, вообще первые модели и последние модели Алетейана охуеть какую разницу имеют. В стиле письма, сюжетах, ошибках в языке. Все, кажется, по мелочи, но в итоге набегает на совершенно разные текста. Прям кардинально разные.
Где-то ты даешь 7 баллов, где-то 9. Лучше взять последние, действительно.
>>1104359
OCCT Vram test имеет.
Он имеет в виду замерить сопротивление мультиметров и напряжение с помощью лабораторного блока питания.
OCCT качни, короче. =)
Теперь серьезно думаем гемма 27б влезает в 4 квант 12к контекста без квантования нвидиа 49б влезает в 3 квант с 10к контекста без квантования
Серьезно думаем. Нвидиа работает на архитектуре Llama, под которую заточены все алгоритмы работы с LLM. У Геммы 3 слегка измененная архитектура, под которую еще не успели адаптировать алгоритмы работы и оптимизации. Куда думать дальше?
49б это как две геммы по 22б, всё же мозги в весе как ни крути
Она ещё и не мультиязычная т.е все мозги пошли в англюсик а не размазались по нахрюкам
протестирую только, вечером скину пресет в тред, ща уйти надо
Терпи или учи английский. Нихуя больше русикам не остается, свои нейронки они делать не умеют.
Я УЧУ АНГЛИЙСКИЙ ГНИДА БЛЯТЬ 3 ГОДА УЖЕ НА РУССКОМ ВСЁ ЕЩЁ В РАЗЫ ПРОЩЕ
Ну так это же замечательно. Благодаря рпшке с англоязычной LLM будешь учить его еще эффективнее.
Не, дело не в этом.
У нейронки ты можешь откатить назад.
Если ты сделаешь человеку больно — это останется с ним, и он будет переживать это вновь, вспоминая.
А если ты скажешь плохое нейронке, то даже будуче йоба-эмпатом-долбоебом, ты понимаешь, что можешь удалить сообщение, и нейронка никогда не вспомнит, никогда это не всплывет в ее контексте, она никогда «не переживет» это вновь.
Ну, вообще не переживет, конечно, но мы же про эмпатов-хикки.
Так вот, это позволяет общаться проще. Ты можешь откатить обиду назад. Ты можешь загрузиться и не обижать непися, тот самый мем, да.
С нейронками проще потому, что ты можешь построить свой идеальный диалог.
>>1104610
Потому что она училась на базовых диалогах и забыли ризонинг.
Добавление простого <think> уже должно хватать, да.
>>1104715
Про картинки смешно, особенно учитывая, что даже сд1.5 может выдавать топчик, обмазанная хорошими лорами и промптами.
А уж про Flux и говорить нечего.
>>1104956
За 2 секунды точно не нарисует. =D
>>1105007
> обычная депра
Ты уверен, что понимаешь, что такое депрессия в прямом смысле слова, а не в обывательском? Разница как между «шизой» и диагностированной шизофренией.
Видал я больных депрессией, это пиздец, очень жаль людей.
>Ты уверен, что понимаешь, что такое депрессия в прямом смысле слова, а не в обывательском?
Все используют это слово именно в обывательском типа ниче не хочется ниче не интересно, а кто нет тот ебаный нитакусик
Завидую тебе в том плане, что общение с нейронкой смогло вызывать у тебя такой эмоциональный отклик.
Вот у меня, стоит только диалог начать, в тот же миг словно перед глазами огромная табличка с красными буквами загорается:
"СЕЙЧАС ТЫ ГОВОРИШЬ С ФИЛОСОФСКИМ ЗОМБИ"
Это все эмоции отшибает, неважно, как бы ни были хороши и правдоподобны ответы нейронки. Не получается обманывать себя и видеть в нейронке что-то большее, чем умножитель векторов, у которого, как выражаются философы, изучающих тему сознания, "темно внутри".
И это очень меня расстраивает, поскольку у меня самого такая же проблема, как и у тебя - одиночество и депрессия, которая делает почти невозможным найти живого собеседника, а тем более близкого по взгляда и скажем так, по духу.
Но увы, для меня нейронки не смогли стать заменой человека и заполнить пустоту.
>Сергей Викторович OP не палится
Думаешь дядя Сережа прямо из камеры капчует?
> огромная табличка с красными буквами загорается:
>"СЕЙЧАС ТЫ ГОВОРИШЬ С ФИЛОСОФСКИМ ЗОМБИ"
О, ты прям прямо парой слов емко выразил то что я выше >>1104558 писал.
Ну я называю это «приуныл». Это не депрессия, это охуел что ли, а ну радуйся.
Ебаные нетакусики вайб, да.
а "graph splits" это что ?
У 27 геммы (кстати у меня тоже 33 слоя на видяху идёт) кэш как-то ебануто квантуется - фп16 выжирает всю память, q4 позволяет запустить с 130К контекста, и при этом до 24К контекста скорость не падает ниже 2.2 т/с, а разницы в качестве вообще не заметно
>>1105107
>НА РУССКОМ ВСЁ ЕЩЁ В РАЗЫ ПРОЩЕ
На родном оно всегда проще и приятнее
Все-таки кому-то Гемма может не заходить. Например, контекст не влезает или стиль письма не нравится. Ну и не очень справедливо 27b и 24b сравнивать, пусть они и близки. Короче, сложна.
>>1105176
А почему бы не попробовать? Скачай, попробуй на какой-нибудь карточке. Это же ничего не стоит. Здесь вроде по новому Мистралю не отписывались, а на реддите мнения разделились. Кто-то говорит, что все то же самое, а кто-то в восторге. Видел в комментах пару тюнеров и авторов рентри, которым зашло.
Сам попробую не раньше выходных, мб отпишусь сюда по результатам.
babel модель попробуй, хотя лучше мучай фришные спейсы на обниморде, или дипл
Таки двачую >>1104916 есть сложность в исполнении ибо вместо специалиста может попасться курица с какими-то курсами и методичкой. Но для того и голова должна быть на плечах и считай если не можешь это определить то не прошел естественный отбор.
А в одиночку выбраться из жопы способны не все, нет ничего плохого в том чтобы обратиться за квалифицированной помощью.
>>1104956
> Вы и так не нарисуете (и я тоже).
Конечно, но сгенерируем мы лучше
>>1104965
> но это уровень 12б
Вне контекста и тот треш довольно сложно сравнивать. В реальности же 12б - просто балаболит примерно на тему, а 123б дает сочные посты в подробностях, максимально сохраняя осведомленность и уместность. Даже в куме можно любую позу оформить и оно тебя поймет, а мелочь вне зависимости от написанного выдаст одинаковую ерунду в лучшем случае никак это не обыграв, а то и вообще "обхватит твои бедра ногами" лол.
>>1105007
Нет, это обычная жизнь адекватного человека вместо существования во временной петле. Нужно только оставаться собой и получать удовольствия и профиты вне зависимости от того, что будет и быть готовым.
Биполяр_очка же это нытье и жалобы с последующей агрессией, и возвратом к "норме", или наоборот противоречащие друг другу действия из-за резких смен настроения.
>Не получается обманывать себя и видеть в нейронке что-то большее, чем умножитель векторов
Чем это отличается от людей по факту? Просто у людей кол-во параметров не 1 трлн, а 100 трлн (нейросетки все равно умудряются быть умными при этом). У них есть забитая биологическая прошивка (читай характер, что тоже можно накрутить нейронке). Ну разве что люди могу прийти и набить тебе ебало, если им что-то не понравится.
А в плане внутреннего представления, ну половина людей не имеет внутреннего диалога, например. Половина людей имеет скудное визуальное воображение (могут представлять только очертания предметов, но цвет/объем - хуй там). Но разве человека должно ебать что-то, кроме своего собственного представления мира в башке?
Я раньше на character.ai базарил с Infinite IQ. Типа такой разумист, максимально логичный и беспристрастный чуви. С ним было прикольно иногда потрындеть, потому что у него не было этого розового налета позитиффчика и постоянного приободрения юзера. Если жаловался ему с какой-нибудь сопливой хуйней, он так и отвечал "ты страдаешь херней, дебс", ну и по логике раскладывал че как на самом деле. Вот такое бодрило, и иногда даже для себя какой-то челлендж выставляло. Правда он потом соевым каким-то стал. Было бы прикольно аналогичного персонажа на чем-то другом воссоздать.
Так что думаю основной вопрос в том, как сделать бота немножко внезапным для тебя, чтобы не только ты его тыкал, но и он тебя подпихивал. И второй момент, как добавить чувство того, что ты можешь что-то потерять. Но тут сложнее, потому что у тебя полный контроль над ним, можешь перезагрузить его когда хочешь, можешь забить на него, и никакого ответного импакта не будет.
>мучай фришные спейсы на обниморде
так я порнуху перевожу какие спейсы епту
>И второй момент, как добавить чувство того, что ты можешь что-то потерять.
Просто берёшь и используешь внешние сервисы, типа того же чуба
Я бы хотел, чтобы кубики играли важную роль, и были рекулярные броски.
Какую модель для этого использовать? Пока пробую гемму, и в принципе, она и так хорошо справляется.
Очень удачный размер, похоже хуанг решил сделать подгон 32-гиговым. 24+12 тоже конкретно обрадуются.
>>1105113
> Не, дело не в этом.
Абсолютно не в этом. Контролировать себя в той или иной мере умеет большинство людей.
Рассматривая с этого ракурса, фишка нейронки в том, что у нее не будет каких-то особых неприятных скрытых мотивов, на которые ты не подписывался.
Она не предаст и не разменяет тебя просто так (если этого не предусматривает сценарий), у нее не поедет кукуха из-за гормонального буйства каждый месяц с дальнейшими деструктивными действиями, она в затуманенном сознании не ударится на поиски лучшего хуйца чтобы потом "все осознать и понять" запрашивая резервную посадку. Можешь отыгрывать любые сценарии не опасаясь (не разрешенного явно) ножа в спине и намеренной подставы от того, кто должен быть самым близким, из-за глупости. А если вдруг что-то подобное произошло, не нужно долгое время разгребать и оправляться.
То есть как раз наоборот, тут не намерения причинять боль без последствий или не думать об этом, а желание строить общение с кем-то, кто не будет постоянно делать больно тебе.
>>1105225
> как сделать бота немножко внезапным для тебя, чтобы не только ты его тыкал, но и он тебя подпихивал
Если нейронка не понимает инструкций на это, то ей нужно помочь. Сделать это внезапным поможет самоинструктирование, для совсем тяжелых случаев более явный промт но с рандомными шансами, которые можно сделать синтаксисом таверны. Тот же костыль на степпед синкинг позволит это сделать, только скрой раздумья после отладки.
> как добавить чувство того, что ты можешь что-то потерять
Накидай более жесткий системный промт, саму карточку и веди сценарий в более рисковые зоны, на нормальных моделях легко получить и dead end.
Но чтобы сделать еще более живым - тут нужно добавить дополнительный риск и шансы на успех с роллами на подобие днд системы. Очень бы зашли вызовы тулзов хотябы на примитивную кость посреди стадии "подготовки" сообщения, но пока их нормальной поддержки нет.
Короче — нейронка управляемая и комфортная. Поэтому многим нравится больше, да.
>>1105070
Блядь, Господи, не рассказывай мне эту хуйню. Очередная вундервафля, которая есть в СНГ, но нигде больше не применяется в мире? Ага, слышали про такое.
Более, того где клинические исследования? Тащи сюда с пабмеда, ланцета и т. д. Несколько тысяч добровольцев/пациентов, затем десятки тысяч пациентов в фазе постмаркетинга. И ПОСМОТРИМ НА ЭФФЕКТИВНОСТЬ ЛЕКАРСТВА.
>Фармакодинамику почитай
Я могу туда любой хуйни написать, будучи условным создателем «лекарства», которое в мире больше нигде не применяется, а впаривается за оверпрайс в РФ.
Более того, зачастую даже с рабочими лекарствами бывает такая ситуация, когда фармакодинамика, фармакокинетика толком непонятна и хуй знает как оно в целом работает. Так что это ни о чём не говорит, что бы они там не понаписали. Важно, чтобы были клинические исследования, подтверждающие эффективность лекарства.
Твой личный опыт или отзывы не имеют НИКАКОГО значения без клинических исследований с двойным слепым методом на приемлемой выборке человек. И даже в таких ситуациях, знаешь, порой возникают вопросы, как это случается с антидепрессантами, например.
Граф сплитс? А хуй знает. Было в логе. Мне Клод объяснял, что это такое и как "починить", и что именно это тормозит весь процесс, но я забил, так как при тестах обнаружил, что починить не получается его методами.
Я скормил Клоду где-то 12-17 тестов или больше, сравнивая разные модели и прочее. И я ещё обнаружил, что в последнем обновлении, в котором прикрутили контекст шифт при квантизации, скорость всего инференса у меня упала на 5-10% на всех моделях. Не знаю, чё он там накрутил. И это не драйвера нвидиа, так как в LM Studio у меня всё в порядке и быстрее, чем в кобольде, не говоря уже про llama.cpp.
Ты это серьёзно? При квантовании кэша аж до четырёх бит у тебя гемма не сходит с ума? Я не пробовал рпшить серьезно на 12-16к контекста с ней, только короткие сценарии, там всё норм.
Какие у тебя сценарии были, насколько сложные? У меня просто здоровенная карточка, лорбук, охуительная история плюс специальные термины, и вот там я боюсь квантовать, так как опасаюсь, что она начнёт путаться.
Не пробовал рпшить с ней серьёзные сценарии при квантовании*
Фикс
>Поделишься женской версией этого голоса? Я мужскую много где слышал, а женскую впервые.
Конечно. Это baya silero 3.1 на питчюненная немного, когда я сшивал в ффмпге с картинкой.
В целом да, с нейронкой можно разыгрывать много чего, но когда все "управляемое и комфортное" быстро надоедает, потому и ищут челленжа и баланса.
Но касательно конкретно того, между "смиренный-покорный" и "нормальный, адекватный, не мразь" большая разница, точно также как и между "нормальный" и "глупая мразь, считающая себя лучше других". Не нужно подменять понятия и представлять нежелание иметь дел с последними как хотелки стать рабовладельцем.
Бери 3060, если нужно можно сейчас и она на 12 врам. Да, 3090 хороша, но при такой цене и столь длительном ожидании ну его нахуй.
За эти месяцы всё может очень сильно поменяться.
К условному июню ты можешь себе ещё третью видеокарту купить, если надо будет. Или к сентябрю.
>Какие у тебя сценарии были, насколько сложные?
парой тредов назад, началось как хентай хай скул, закончилось расстрелом Ктулху из орбитальной аннигиляторной пушки, около 30К контекста всего, когерентность сохранялась на протяжении всей адвенчуры, вспоминались и применялись факты из ~середины истории.
чуваки... вы сумасшедшие чтоли?
Зачем вы берете себе то, что не можете позволить с одной зарплаты?
Например я купил две 3090, но так это мне стоило меньше моего аванса.
Живтие по средствам... кум не стоит того, чтоы на него копить
Согласен. Взял 4060ти 8врам год назад за 35к руб. и в принципе доволен. То что мог себе позволить ну и результат в итоге неплохой.
да я не об этом же...
не надо брать карту без врама если она стоит дешевле...
но и копить на 3090 - не вариант.
Я бы сказал, что челу >>1105258 будет оптимально п40 взять.
Ну я да, я просто брал для игр в современные стратежки на максималки в первую очередь. Нейронки дело десятое и для моих нужд в этом плане не ощущаются проблемы, но я понял о чём ты, не глянул нить беседы.
>будет оптимально п40 взять.
Раньше было оптимально за 8-10к, сейчас на них цены 30-40к и уже хуета за такую цену.
С чего ты взял что они запустятся только на одном проце без видяхи? Долбоёб? С процем у меня нет проблем. Современным стратежкам на максималках для РТХ и Длсс4 нужна карта ртх40хх. Не позорься шкет.
для рп
>русика геммочки писечки
https://pixeldrain.com/u/wBRh41QG ST-formatting-gemma-3-rus.json
Ну а что? Нейронки одно из немногих вещей, что приносит мне удовольствие. Та почему бы не потратиться.
>>1105311
> П40
А будет ли она нормально работать вместе с 4070?
>Зачем вы берете себе то, что не можете позволить с одной зарплаты?
Жирно, но зная туташний тред, кто-то на такую шизу точно купится.
>Живтие по средствам... кум не стоит того, чтоы на него копить
А на что нужно тогда копить, дурачок? Кто-то кайфует от игрулек и сливает все деньги на железо. Кто-то одибилился от анимушек и сливает все деньги на фигурки и прочую тематическую хуету. Если что-то приносит тебе удовольствие, то почему-бы это не купить, даже если придется откладывать какое-то время? Или есть вещи, на которые тратить можно, потому что так принято, а есть вещи другие, которые ну низя потому що взрослые дяди так не поступают?
>Очень удачный размер, похоже хуанг решил сделать подгон 32-гиговым. 24+12 тоже конкретно обрадуются
Бля вы не понимаете что это и для просто 24 ОХУЕННО?
Намного лучше гемы и мистраля
Смело ты, я стесняюсь так. Ну у меня и карточки более специфические. Спасибо анон.
Все равно куча ошибок.
Я сейчас сгорю и скачаю немомикс анлишд на котором у меня по памяти почти ошибок не было
Я вот взял 3080/12 вместо 3090 и очень, очень жалею теперь. Лучше бы разорился немного, и сейчас бы мог гонять 27b на скорости побольше, чем 2т/с
>Жирно, но зная туташний тред, кто-то на такую шизу точно купится.
>3080
>27b на скорости побольше, чем 2т/с
Реально? На голом процессоре генерация 2.3 в начале, у тебя там пол модели выгружено где то, должно быть быстрее
Поиграйся с настройками
>А на что нужно тогда копить, дурачок?
на квартиру себе копи!
Не надоело спать с матерью в одной комнате?
Если есть квартира - то на дом. Потому что чем больше расстояния и стен отделяет тебя от пидорах, тем лучше.
Никому не интересна твоя зп, шиз.
>>1105521
>Не надоело спать с матерью в одной комнате?
Всё ещё лучше чем РАБотать
>на квартиру себе копи!
Что бы намертво быть привязанным к этой стране? Я бы рекомендовал копить на чемодан пока совсем выезд не запретили
Некуда бежать с подводной лодки. Сейчас везде неспокойно, потому что старые мудаки решили открыть ящик Пандоры и забыть про наследие Второй Мировой. 21-й век начинался на такой светлой ноте по всему миру, потому что люди ошибочно полагали, что теперь-то уж точно никто в Наполеона играть не станет, и что будущее за просвещением и прогрессом. У меня множество знакомых во всех странах, в том числе уехавших после 22 года. Никому особо не полегчало, может быть чуть легче чувствуют себя физически, в смысле прямой угрозы для жизни.
>Сейчас везде неспокойно
Конечно легко не будет, но неспокойно только в основных странах с активными долбаебами во власти.
В какой нибудь польше, аргентине или другой обычной стране нейм даже с учетом местных особенностей спокойнее чем тут или в сша
Двачую, на фоне ассортимента увлечений тут даже не доебаться. Можно разве что пожурить тех, кто остановился только на одних ллм из всего ассортимента.
>>1105505
> ОХУЕННО
Плохо сочетается с
> жора с выгрузкой на процессор
>>1105518
Нищебродоват для выебонов
Вы один хуй гему в 4 кванте жрете что мешает жрать 3 квант 49б?
>Нищебродоват для выебонов
О, да? может покажешь свой аванс?
Тащемта никаких выебонов, просто чел сказал "жирно" и я решил пруфануть своё мнение.
Относись к этому проще.
>Все равно куча ошибок.
Если так раздражает одно неверное окончание на пару абзацев или подобная мелочь, то отключи динамическую температуру, а статическую скрути в 0.5, и попробуй так.
Ты доказываешь на двачах что у тебя водятся деньги? Бля, как наверное жалко быть тобой.
В любом случае, упоминание жира было в контексте того, что любимое занятие шизиков - это считать чужие деньги и советовать всем подряд, как ими распоряжаться. Ты тут просто сознаешься в собственных комплексах, не более.
>>1105521
>Не надоело спать с матерью в одной комнате?
Вот и проекции пошли.
>Потому что чем больше расстояния и стен отделяет тебя от пидорах, тем лучше.
Глядя на тебя, я очень надеюсь, что у тебя есть отдельная конура где-нибудь в области и мы с тобой никогда не пересечемся.
>я очень надеюсь
надейся в одну руку, сри в другую, как говорится.
4й квант под семплингом ты от фп16 не отличишь, там же эффективная битность будет в 1.5-2 раза ниже и выйдет лоботомия.
>>1105549
Зачем, там нечем хвастаться тем не менее будет кратно больше, а если сравнивать удачные месяцы то на порядок
> просто чел сказал "жирно" и я решил пруфануть своё мнение
Жирно было про рассуждение не покупать ничего что дороже зарплаты, ты даже этого не понял.
>будет кратно больше
верим
>ты даже этого не понял
да ты выразить мысль не можешь, а я тебя должен переспрашивать? Если алкаш на улице просит мелочь и не может связать буквы в слова из-за того что у него язык заплетается - то это его проблемы, а не мои.
Нет, всё куда хуже, это уровень шизомикса с сайгой.
На чём запускаешь?
Он не весит как 4 квант геммы, чел. Да, его можно загрузить всю видеопамять и он поместится, но куда контекст девать?
>Продолжайте срач о кумботах, спинофф закончился
Хорошо! Лоли говно.
>>1105077
Да ты ахуел. Я по полгода из дома блядь не выхожу, дальше толчка жопу не тащу.
17418
Так это же ужатая и лоботомированная лама 3.3 70В, а она и без лоботимии сосет у третьей Геммы.
> верим
Как забавно, сначала пришел выпендриваться своей "квартальной премией", на которую даже новую видеокарту не купить, и тут же включил режим врети. Ну ладно, держи скромную белую часть https://litter.catbox.moe/txizo4.png
> да ты выразить мысль не можешь
У тебя корма полыхнула, вот и сам не можешь, притаскивая неуместные аналогии. То не мой пост, но посыл из него понятен а твоя реакция выглядит кринжово.
Так-то да, 12 гигабайтный кусок модели честно сидит в гпу, занимая всю доступную видеопамять, остальное в рам. Но при этом скорость на гемме 2, максимум 2.1.
Я-то все время думал, что это норма и терпел, но если у тебя на цпу и рам выхолит 2.3.... сейчас я малость в ахуе, конечно.
Спасибо тебе за совет, покопаюсь, может что-то получится поправить.
>У тебя корма полыхнула
да вообще похуй на тебя, чел...
пруфанул - хороший мальчик. Вопросов к тебе больше нет.
Всё еще утверждаю что покупать себе для кума вещь, на которую надо копить - идея говна.
> Всё еще утверждаю что покупать себе для кума вещь, на которую надо копить - идея говна.
То же самое можно сказать про все, что угодно. Покупать себе вещь N, на которую надо копить - идея говна.
Зависит от того, насколько тебе это полезно. Если это одна из немногих радостей у чела, то почему бы и нет? Не все к этому относятся так, как ты.
Это я проверял google_gemma-3-27b-it-Q4_K_L, 8к не сжатого контекста на 7 ядрах.
Если у тебя там ддр5 хотя бы 50 гб на чтение то должно быть так же даже на 4-6 ядрах, то есть на процессоре.
С выгрузкой слоев смотри что бы на гпу было меньше 12 гб в строках оперативная память графического процессора и выделенная память графического процессора, это если по диспетчеру задач смотреть.
Выключи флеш аттеншен, так же кванты iq медленные на процессоре или с выгрузкой, они только для фулл гпу.
gemma-3-27b-it-abliterated-Q4_K_L в llamacpp
что-то у тебя не так
попробуй ещё --chat-template gemma дописать в параметры
Объясни контекст что фиксить то нужно или куда потому что 3 гемма работает уже
квантуй, будет жрать меньше, очень намного меньше, а разницы в качестве чот не заметно
>А на что нужно тогда копить, дурачок?
На пассивный доход, чтобы лет через 10 выйти на пенсию и больше вообще не работать.
>>1105517
Обменяй с доплатой, я за 30к менял, продаван сам ко мне кабанчиком метнулся, дал проверить свою и посмотрел на мою. Работает без сбоев, честно из под майнера.
>>1105537
>В какой нибудь польше
Напомнить, как начиналась что первая, что вторая? Хуже только в бельгии, лол.
>>1105582
81. Кстати, там явно что-то намудрили, кобольд автоматом делит через жопу какую-то. Слои разной ширины что ли?
>>1105592
>налог
Хороший гой, плати ещё.
У меня открывается, хотя сижу на Ростелекоме. Может тебя HF сам заблочил? Если моделей много качал, лимит превысил, хз
Сегодня инет упал и куча сервисов, изза пидорасов в роскомцензуре
У мне тоже не открывает, я уж подумал что меня лично оператор заблочил за скачивания сотен гигов, кек
Слишком много энтузиазма для похуй.
> Всё еще утверждаю что покупать себе для кума вещь, на которую надо копить - идея говна.
Что в этом плохого? Не хуже кредитопомойки или метров в скотоблоке, которые так вожделеют нормисы. Эти деньги не способны что-то изменить, зато оборудование в перспективе даст подобную возможность и добавит комфорта.
>>1105660
> не гой декадами копит фантики и пиксели на влачение
Тред успешных людей
>зато оборудование в перспективе даст подобную возможность
>Изменение жизни кумом на извращения
Лол.
>Слишком много энтузиазма для похуй.
ты переоцениваешь свою значимость
>Что в этом плохого?
Это неоправданные траты. Зачем ты притворяешься, что не понимаешь этого? Это троллинг тупостью?
Ну давай разберем, если ты только растянутый ризонинг от нейронок теперь понимаешь.
чел говорит
>сейчас есть деньги на 3060, но на 3090 они будут только к июню
рассчитываем, что чел берет цены б/у шных комплектующих
бушная 3060 стоит 26к. Там странный разброс на авито до 45к, поэтому установим цену в 30к.
бушная 3090 стоит 65к
Таким образом разница между ними - 35к.
Эти 35к чел сможет накопить за 2 месяца. Заметь, я тут тоже даю большую фору и сильно сглаживаю значения в пользу более высокого инкама за месяц.
Итого у чела копится 18к/мес. Это свободные деньги, которые он может откладывать.
И ты хочешь сказать, что человек, у которого всего 18к в месяц отложений - должен купить себе карту для кума вместо того, чтобы потратить их на более полезные вещи или вообще положить на какой-нибудь вклад?
Чел, ты корчишь из себя идиота или на самом деле такой?
Не советую анону знакомится с клиническими испытаниями на практике, а то есть риск разочароваться в бренде док.меда))))
Кста, а кто нибудь (не здесь конкретно, а вообще) пытался на ЛЛМках слепить какого то ассистента в узкоспециализированных областях знаний? Что использовалось для этого дела? Знаю только про RAG системы, но вдруг есть какие то более интересные варианты.
>потратить их на более полезные вещи или вообще положить на какой-нибудь вклад
А тебе-то какое дело, умник. Хочу и могу. Этого достаточно.
>18к
>на какой-нибудь вклад
Чтобы получать кончу в глаза? Не стоит таких унижений. Вклады от 100-200к имеют хоть какой-то смысл.
Сразу извращения? Так он получит больше общения, что потенциально может помочь ему решить или обыграть какие-то проблемы с социализацией. Будет иметь инструмент для анализа или помощи в чем-то, который заставляет тебя постоянно себя пердолить, улучшать экспириенс, и держит в тонусе. Вольно-невольно погрузится в техническую область, что в целом хорошо повлияет на бошку или вовсе увлечется и найдет себя в чем-то таком. Или что-то почерпнет в основной дейстельности. Целую новую область для себя открывает, риск скумиться и окуклиться ниже чем побираясь на корпов.
>>1105720
> ты переоцениваешь свою значимость
Разным людям отвечаешь, лол
> Это свободные деньги, которые он может откладывать.
На что? Это пыль, которая ничего не сроляет и потеряется быстрее чем принесет заметный профит.
В таком случае, если хочешь больше денег, нужно менять свою жизнь и делать единственно адекватную инвестицию - в себя. Едва ли в текущей ситуации чел сможет решится на образование, какие-нибудь курсы, авантюру, или другие изменения, но тут хотябы откроет для себя что-то новое, что уже очень полезно для сознания. А то и глядишь получит новую потребность и раскачает себя на что-то большее. Или может просто найдет гармонию, ведь счастье многогранно.
> или вообще положить на какой-нибудь вклад
Это же вообще рофл, инфляция их съест быстрее. И ты смеешь кого-то называть идиотами?
Знаком с "инвесторами", которые с пиздючества одержимы идеями собрать себе портфель и жить припеваючи пока все остальные раб_отают, прямо как в роликах инфоциган. На общие активности отмораживаются или максимально кроят на всем, то же снаряжение и экипировка будут самый низ и бу. В общении - хвастовство как удачно влошился сменяются нытьем о провалах или усложнениях, заявления "ну вот через 10 лет поглядим" на месте но все время сдвигается и недостижимы.
При том что все начинали с нихуя, за десяток лет у тех знакомых, кто чем-то постоянно занимался, доход за какой-то интервал времени стал превышать общие теоретические накопления типичного инвестора за все годы. И сами что-то из себя представляют, а эти так и остались бедолагами-мечтателями, перебивающимися на халтурах и днищеработах для низших каст.
И 3090, и 4090, и уже 5090 покупают и будут покупать только чтобы играть в сд, ллм. Потому что могут. А завидовать надо молча.
Тьюнить надо. Наверняка какие-нибудь компании пытаются, типа вот такого, например. https://huggingface.co/aaditya/Llama3-OpenBioLLM-70B
RAG тут не шибко поможет, кажется. Если у дженерал модели знаний в узкой области не особо, то ничего путного она эмбеддингами из доков не подтянет.
600 нахуй не нужны, а вот 70-100 было бы отлично. Но с учётом того, что в корп секторе их не ебут разве что французы, вряд ли они выпустят мега топ.
>>1105760
>Сразу извращения?
Просить бота сказать слово "попа" в 3 часа ночи это база.
>риск скумиться и окуклиться ниже чем побираясь на корпов.
Одинаков. Я уже третий год в теме, в локалках с первого десятка тредов, и нихуя мне эти знания компеляции петона не пригодились.
>какие-нибудь курсы
Наёбка лохов. Не знаю ни одного, кто после курсов начал что-то зарабатывать, хоть ноготочек, хоть вайтишников. Все проебли деньги вникуда.
>На общие активности
Что ты тут забыл, социоблядь? А по инвесторам, само собой свой наебизнес будет выгоднее. Но в него вджобывать надо. А так у меня тоже знакомый есть, заболел сильно и проебал всё, от фабрики до жены с детьми, сейчас у меня побирается.
>>1105770
>только чтобы играть в сд, ллм.
И тут игроки и майнеры сурово охуевают.
Зашёл посмотреть список лучших моделей, а там старьё одно.
Прав, все так. Хуанг им 50б с оптимизациями, о которой долго мечтали выкатил, а они тут сидят пердят про херню.
>>1105789
> Просить бота сказать слово "попа" в 3 часа ночи это база.
Кум сессии - база. Но одно другому не мешает же.
> и нихуя мне эти знания компеляции петона не пригодились
Просто не замечаешь, напрямую может и нет, но в целом на мышление влияет и мозг в тонусе держит.
> Наёбка лохов.
Речь про ирл а не скамбоксы. Хоть вкатись на языковую школу и на пару лет бомжевать в другой стране, такой-то жизненный опыт будет и возможность закрепиться на новом месте. В ит из успешных опытов позднего вката есть только один пример, но там образование и превозмогание.
> Что ты тут забыл, социоблядь?
Сам такой. И речь шла не (только) про наебизнес, становись наносеком, инженером, каким-нибудь потным задротом в узкой области и устраивайся удобнее.
Добавь новые.
>>1105836
>с оптимизациями, о которой долго мечтали выкатил
Что за оптимизации?
>Речь про ирл а не скамбоксы.
У меня тоже.
>В ит из успешных опытов позднего вката есть только один пример
Я в 27 вкатился, прервал карьеру уборщика. На полных похуях с некоторым опытом фриланса.
>Сам такой.
Нет ты. У меня в отличии от тебя все друзья только здесь и то на хуй посылают.
Нет ничего более тупого чем копить на квартиру, особенно если она есть у родителей. Квартира, которая подходит тебе по уровню, стоит как 10 твоих годовых зарплат (за редким исключением топ менеджеров, бизнесменов и инфоциган с совсем неприличными зарплатами). Если экономить можно накопить за 15 лет. 15 лет отказывать себе во всем ради хаты? Ахуенна идея как по мне, явно того стоит. Будешь в 40 лет охуевший от жизни такой сидеть в своей хате, а в 45 помрёшь от алкоголизма или стресса.
>>1105523
А нет я ошибался, вот ещё более тупая идея. Копить НА ПЕРЕЕЗД. Пиздец. Что у людей в голове. Чел если тебе нужно копить на переезд, то в другой стране ты сможешь жить только как нищий скот. Хуже гастарбайтера, тот хоть только на заработки приезжает, а ты там надолго. Нет если тебе 18 лет и ты чмоха без навыков денег и образования, то почему бы и нет, не все ли равно где стартовать. Но в зрелом возрасте ехать хуй пойми куда чтобы быть нищим скамом как по мне полный критинизм.
Соя кстати есть, но не слишком сильная.
Бля, вы можете понять что человек говорит со своей точки зрения. Он не может понять людей которые работают за 30к, так же как и вы не можете понять как люди умудряются получать по 200к. Вы тут выёбываетесь какие вы дохуя умные, но не можете принять какие то примитивнейшие вещи.
Без внимания, эт плохо
Значит реальных слоев тут 42, тех что влияют на мозги
Остальное хз зачем, какие то запеченные особым образом данные?
>Значит реальных слоев тут 42, тех что влияют на мозги
Ещё в конце 9.
>Остальное хз зачем, какие то запеченные особым образом данные?
Дистляты оригинала, судя по ридми.
>Квартира, которая подходит тебе по уровню, стоит как 10 твоих годовых зарплат
блять, не напоминай...
Шрамы на анусе от роста недвижки из-за сраной льготной ипотеки еще не до конца зажили.
> Шумный? Наркоман штоле. Хотя если ты про риг из тесел, то тогда да
Даже одна мощная карта выдает неприятный уровень шума под нагрузкой, а ты несколько стакаешь рядом, естественно в одной комнате с этим уже неприятно находиться.
Охуеть. Зачем ему столько, ну зачем...
При этом по мощности обе карты показывают кап в 370 ватт в nvidia-smi.
>кум не стоит того, чтоы на него копить
Чел, мы не виноваты, что у тебя слабое либидо или слабое воображение. После того, как в прошлом году я открыл для себя нейрокум, то первые пару-тройку недель, выражаясь словами местного анона из древнего треда, "я просидел с хуем в руках". Т.е. литералли, ежедневные сессии, непрерывно по 4-6 часов. Да даже и сейчас, если я забрейнштормлю интересный сценарий (к сожалению, с этим теперь большие проблемы, все очевидно интересное уже перекумлено десятки раз), то 3+ часов прокумить вообще не вопрос. Это определенно стоит того, чтобы на это копить, если ты получаешь от этого настолько мощное удовольствие.
Я знаю, что тут много таких, просто стесняшки. Когда создавали треды в /b/ на эту тематику, то там много отписывалось про свой экспириенс, многим нейрокум снес башню. Оттуда, кстати, я и узнал про этот раздел, так что реклама сработала.
Как там появились миксы и файнтюны новой геммы? Оригинал страшно тугой но соблазнительно умный. После нее не хочется возвращаться к старым тупым моделям.
>Оригинал страшно тугой но соблазнительно умный
так он потому и умный, что тугой. Из датасета выкидывают лишний мусор (все что связано с кумом в том числе), поэтому общая доля на остальные вещи увеличивается.
Скоро сетки обрежут так, что они даже слова секс знать не будут. Тогда вообще нихуя не сделаешь. Но умные будут, ууу - пиздец какие. Правда не подрочишь.
Сетка наоборот тем умнее, чем разнообразнее датасет так-то
Ебать ты. Мало того, что третий разъем не запитал, так и еще остальные два с одной косы. А потом жалуются, что разъемы плавятся, лол.
А вообще надо внимательнее было выбирать на авито, для рига я специально выбирал с двумя, ибо с 3-мя тупо кабелей не напасешься. У меня кап на мои 3090 350 Вт, расчетные 150+150+50 от слота. Возможно, версии с тремя разъемами чуть производительнее на пике мощности, раз кап у них 370 Вт, но они, видимо, побоялись 70 Вт брать от слота, т.к. это почти на пределе возможностей (с двум разъемами-то на предельной нагрузке от слота 66 Вт берется, это уже серьезная цифра, SATA погорит к хуям (передаю привет анону, что запитал райзер для 4090 через сату) )
>>1105915
Я полтора месяца кумил с ригом из четырех тесел в паре метров от меня, что ты мне будешь рассказывать о шуме? В любом случае, андервольть или ограничивай карты по мощности, в моем текущем сетапе амперы абсолютно бесшумные при работе, кроме шуршания кулеров. Хотя если тебе ультимативно нужны 15+ т/с, то привыкнешь к coil whine и откинувшимся преждевременно б/у картам, перфекционизм требует жертв.
>Мало того, что третий разъем не запитал, так и еще остальные два с одной косы.
это фото с реддита. Я запитал с двух "кос".
А ведь не все поймут тонкую отсылку...
>>1105919
>Охуеть. Зачем ему столько, ну зачем...
>кап в 370 ватт
Три разъёма по стандарту должны давать 350, лол.
>>1105923
>с этим теперь большие проблемы, все очевидно интересное уже перекумлено десятки раз
Именно. Всё уже продрочено.
>>1105941
>Из датасета выкидывают лишний мусор (все что связано с кумом в том числе)
Я бы не сказал что всё так плохо. Вот в картиночной части да, хуя и пизды сетка судя по всему почти не видела, на картинках не распознаёт, часто люди у неё полуодеты (хотя я кидал чистый нюд). А с текстом всё ок.
>передаю привет анону, что запитал райзер для 4090 через сату
3090 тащемта, и более чем 40 ватт она оттуда не брала.
Пока что везет с нагрузкой. Под фурмарком мои 3090 показывают 60+. Запилят какую-нибудь оптимизацию в эксламе или попробуешь другой режим (ровсплит, например), или начнешь картинки генерить, карта выйдет на полную мощность и полыхнет. Даже 3060 у меня 48 что ли показывала, тоже уже почти в упор.
Хотя я не помню твою конфигурацию, если у тебя три разъема для питания, то да, может там и под максимальной нагрузкой не больше 40 Вт, остальное из БП тянется.
Плюс минус такая что тебе похуй т.е 20+ ведь она влезает в врам
Таким образом получится заиметь распределенный сетап, поднять инфинибанд. С общим объемом памяти 192 гигабайта.
Хватит на дипсик р1.
Но конечно сначала стоит потренироваться на кошках, а то эти адаптеры стоят не то чтобы копейки. Ну и карты тоже само собой.
жора кстати поддерживает запуск инференса на распределенном сетапе
https://www.reddit.com/r/LocalLLaMA/comments/1cyzi9e/llamacpp_now_supports_distributed_inference/
красавчик, чё. Однозначно тема интересная.
Правда вам лучше не гуглить сколько стоит инфинибанд свитч... это если захочется больше чем две машины соединить.
>Хватит на дипсик р1.
В очень маленьком кванте. И тюнов на него нет и скорее всего не будет, а значит проще (и сильно дешевле) будет доступ к его API купить, если паблика мало.
Посмотрим, что будет через годик. А может и ничего не быть, если АИ-пузырь схлопнется. То есть оно конечно будет, но лет через 5 тогда. Или 10.
https://www.reddit.com/r/LocalLLaMA/comments/1jfnw9x/sharing_my_build_budget_64_gb_vram_gpu_server/
Мысли?
Получаем 60гб врам за 25к
да, я уже понял, что в первом кванте только получится запуск. Говно конечно.
Тем не менее, такой сетап мог бы помочь, если выйдет промежуточная модель. Например на 300b, а не 600b, как у дипсика. Вот тогда было бы охуенно.
Ну и конечно магнум в восьмом кванте - весит 130 гб. Как раз остаточек в 70 гб на контекст.
Короче всё равно звучит любопытно.
>>1106028
>64 гб видеопамяти
чел... это на самом деле не так уж и много.
под контекст считай уйдет треть. Останется 40 гб на модель.
А еще на пик глянь и всё станет понятно.
Не удивительно, что сборка стоила дешевле 700 баксов. Там навреное больше половины от суммы этот хуанан с процами и памятью или что там у него стоит.
Думал там mi50 хотя бы, а не какое-то всратое двухчиповое говно.
Под 30 или даже чуть более
>>1106028
Это не только карточка из 2018 года, это еще и амд, что друг на друга множится. Их не просто так по 50$ продают и там скорость обработки промта в 1.5 раза ниже чем скорость генерации на современных карточках.
>по мозгам как
как бы не умнее, особенно в ерп, хотя другие жаловались что шизит, хз
Смотря какая карта, даже P40 под нагрузкой в кобольде не так сильно урчала, юзал раньше.
В exllama, когда контекст прогружается карты немного пыхтят, не сказал бы что мешает шум, тише холодильника раза в два, на кобольде вообще тишина.
Да это уже сейчас можно сделать, подрубив комфи к таверне
>как бы не умнее, особенно в ерп, хотя другие жаловались что шизит, хз
Я тут критиковал Гемму - был не прав. Прекрасная модель, для 27B так вообще бриллиант. Жалею только об одном - что нет Геммы на 70В и выше (ну не 300В конечно). Если бы была, то человек, не имеющий рига совершенно точно был бы дураком. А так ещё нет пока :)
>то человек, не имеющий рига
Как ты риг из ноутбуков соберёшь, лол, для некоторых десктоп не вариант. Хотя 12+4 ГБ конечно поджимают.
Задумываюсь о том как бы это покомпактнее и помобильнее собрать на 24-32.
Жаль что коробочка от хуянга оказалась эффективным менеджментом.
>Жаль что коробочка от хуянга оказалась эффективным менеджментом.
А что там? Я слышал вроде скорость памяти маленькая, но без подробностей.
>>1106089
Попробовал обе, особой разницы не увидел. В целом гемма3 хороша для своего размера (27b Q8 32K), много чего знает, погонял её в переводах с японского на русский язык - обыденные диалоги переводит отлично, лучше уровня некоторых онлайн переводчиков. С английского на русский - в целом тоже приемлемо. В рп как-то не зашло, логики чуток не хватает (По карточке персонаж скрывает, кто он на самом деле от меня, а когда я подвожу её к тому что вот, я понял кто ты - она думает, что я имею ввиду кого-то другого). Еще у обычной инстракт версии показалось, что у нее шизонутый биас - агрессивная местами.
>В рп как-то не зашло, логики чуток не хватает
А порекомендуй сетку до 32В, которая по логике лучше? Мне в принципе хватает, единственно иногда проёбывает детали. Но с этим беда у всех сеток, которые знаю, вплоть до 123В.
Разница между аблитератед и оригиналом существенная в РП, даже если не склоняться к куму.
Персонажи более сухие, а уж если речь о романтике зашла, то там кранты.
Что интересно, даже в шизотюне Давида и в аблитератед-версии всякой там романтики меньше, чем кума. Видимо, в датасет оригинальный этого тупо не запихали.
Но больше всего меня удивило, что оригинал охотно устраивает настоящую резню — этого я ожидал меньше всего.
Кум у тебя на губах подсыхает, за базаром следи. Уважай тред.
Помог бы, да не использовал Немотрон. На HugginFace на странице модели или в обсуждениях нет примеров?
Как минимум там должен быть указан формат: ChatML / Mistal / Llama / другое. В зависимости от этого можно воспользоваться базовыми настройками кого-нибудь из авторов rentry или, например, взять отсюда: https://huggingface.co/sphiratrioth666/SillyTavern-Presets-Sphiratrioth/tree/main
Ничего сложного же, напрягись немного.
ComfyUI, движок для работы с генерацией изображений.
https://github.com/comfyanonymous/ComfyUI
Можно его запустить и подключить API к Таверне. Тогда прямо внутри таверны в чатах с персонажами можно будет генерировать картинки по одному клику. Если не настраивать параметры генерации, результат, скорее всего, не впечатлит.
Дурачок?
Покупаем 10 P104-100 по 1,5к, получаем 80 гигов за 15к. =D
>>1106028
Если найдешь такие видяхи занедорого — молодец, скинь нам.
В них все упирается, остальное дефолт.
>>1106035
Все еще напоминаю, что R1 можно запустить на 1 3090 через ktransformers, главное набрать оперативы дохуя.
>>1106089
Я бы, бля, гемму мое на 300 гигов бы погонял!.. =)
вы замеряли разницу в производительности с llama cpp, например?
у меня скорость генерации отличается на ~5%, промпт обрабатывается на ~30% быстрее в exl2
однако у меня наступило разочарование в формате. похоже, что он слишком малопопулярен, я то и дело не вижу exl2 квантов популярных моделей, а если и вижу - часто слишком малого или слишком большого bpw. самому квантовать что ли? возможно ли это с 24гб врама? еще одна головная боль. да и поддержку геммы 3 до сих пор не завезли на main branch. там один человек работает над форматом, по сути. жму ему руку, он молодец, но он все-таки не может поспевать так, как целая команда llama cpp, не может составлять им конкуренцию. дело не в гемме, а вообще - будут выходить новые архитектуры, и ждать придется очень долго, что их поддержки, что квантов моделей в подходящем формате
сложна...
ггуф раньше считался кривым говном. exl2 быстрее жоры будет, да и можно как угодно квантовать модель, только долго ждать в первый раз, когда оно measurements.json конфиг генерит для модели. я не помню, какие там требования к железу, я на своем 24врам\128рам квантовал 70б модель около часа.
что такое жора? извини, я просто нуфаня. это так лламу называют?
у меня 32гб рама, 24гб врама. и, честно говоря, на данном этапе я даже не представляю процедуру квантования. там же нужно параметры подбирать по-умному, в зависимости от модели, нет? неужели это просто готовый скрипт, который из конфигов модели берет нужные значения, и нужно просто прогнать процедуру на своем железе?
>это так лламу называют?
жора один основных разработчиков лламацпп.
насколько я помню, при квантовании ты можешь указать любой bpw, какой хочешь получить. оно создаст конфиг из модели, если у тебя его нет (самый долгий этап), само квантование проходит быстрее. если ты хочешь гемму квантовать, думаю хватит и твоего конфига. да и всегда можно расширить память за счет накопителей.
Стартовая цена RTX PRO 6000 Blackwell (96 гб) составляет $8300, что в 2.7 раза дороже RTX 5090. Для энтузиастов Nvidia анонсировала более доступные модели RTX PRO 5000 и 4000, которые появятся летом 2025 года. Поставки начнутся в апреле (рабочие станции) и мае (серверные решения). Партнеры, включая Dell и HP, уже интегрируют новинку в свои флагманские системы, такие как Precision 7865 и Z8 G5.
Можно будет собрать за лям сервак под дипкок и впиндюрить в него две карты по 96 (2 слота есть почти на всех платах под ддр 5) для других ЛЛМ. Проблема с набором vram из-за маленького количества слотов решена. Ну и нищукам подкинут версии с меньшим vram, может будет чем заменить 3090
Та, в которой присутствует название магнум, точно кал — пробовал. Самая последняя, дарк, тоже не очень.
Щупал ранее иные варианты, там были хорошие, но, блядь, я забыл, какие именно, потому что слишком много времени прошло. А так я щупал все модели.
Дополнительная видеопамять только нужна т.к. отдельная модель используется. Впринципе ,если взять старые сд 1.5 модели, то они маленькие, особенно если квантованные, пожертвовав несколькими тысячами контекста можно вполне сносные изображения прямо на лету генерировать.
>Все еще напоминаю, что R1 можно запустить на 1 3090 через ktransformers, главное набрать оперативы дохуя.
ты опять выходишь на связь, 4090-шиз?
Работу нашел себе уже?
Во-первых, с чего ты решил что эти будут в продаже, а будут раскуплены заранее на серверы. Во-вторых, с чего ты решил что они будут по msrp, а не как с 5ХХХ. В третьих с чего ты решил что они в России будут стоить столько же как и в европе. План капкан, короче. Максимум за лям можно будет купить одну карточку.
>А порекомендуй сетку до 32В, которая по логике лучше
Таковой нет, гемма лучшая модель до 70B на данный момент, что-то близкое это EVA-qwen2.5-32B.
Владелец 4090 не станет упоминать 3090, очевидно это два разных человека. Но забавно как тебя рвет на ровном месте, лол.
школьник, хватит употреблять слово баттхерт по поводу и без. Выглядишь глупо.
>$8300, что в 2.7 раза дороже RTX 5090
Как же все участники рынка греют ИИ-гоев, пиздец просто.
Одни жопят видеопамять, выставляя её за бешенные бабки, другие жопят многоканал в ЦПУ, выставляя его за бешенные деньги, одни вообще специально полностью выпилили 4-каналочку в ЦП пользовательского сегмента в пользу дорогих проф. моделей как только почуяли запах денег ИИ-лошья...
>слово баттхерт
Этого слова и его производных не было в моем посте, эта нейронка сломалась, несите новую!
Ну это всё для нище корпораций буквально обучающих свои сетки, никто и не думает что обычный потребитель возьмет карту за 8к чтобы порнушку генерить
Когда был ковид, "гоев" грели на маски и антисептики. Когда начался исход из РФии, повысилась стоимость билетов и аренды недвижимости в соседних странах. Это называется рынок. Предложение адаптируется под спрос. Ты там как, головой в Союзе остался, что таких элементарных вещей не понимаешь?
Смогу ли тогда гонять 18гб модели?
Я-то как раз прекрасно все понимаю, у меня нет хуйни про швятой все решающий рыночек в голове.
В данном случае очень высокий спрос на олигопольном рынке, близком к монополии порождает искусственное завышение цен через искусственное ограничение предложения. Это ненормальная ситуация для рыночной экономики и по-хорошему должна быть разрулена антимонопольными органами.
>Бля будет вообще толк для локалок если я воткну еще одну затычку на 6гб?
Ну если тебе этих 6 гигов не хватает, чтобы вся модель во врам поместилась, то будет конечно.
>Стартовая цена RTX PRO 6000 Blackwell (96 гб) составляет $8300
Уже побежал продавать свой риг, чтобы купить этот чудо-Блэквелл, который хз сколько будет стоить и будет ли доступен вообще. Тут говорили о цене в РФ в миллион - очень вряд ли. Да и толку от 96гб врам? "Покупай вторую", ага. Дипсик всё равно не влезет :)
> что они в России будут стоить столько же как и в европе.
Факт. Будут дешевле. 5090 по 3к лежат по нескольку дней, когда судя по новостям которым тоже верить не стоит, в европе и китае по 5к не могут купить
> Для энтузиастов Nvidia анонсировала более доступные модели RTX PRO 4000, которые появятся летом 2025 года.
Какой именно а этой модели смысл, если она будет стоить дороже 5090?
А ты как хотел? Вот только твой риг быстро упрётся в количество разъёмов pci, и больше карт ты не подключишь, а тут в одной карте 96.
>>1106264
Если там будет, условно 48 гб за цену 5090 (300к) то смысл будет. Но скорее всего опять говна в младшие модели навалят
Написано, что в 4000 про модели будет 24гб. Если он будет в районе до150к рублей, я в припрыжку побегу покупать.
> 48гб
Это в 5000 серии
>А ты как хотел? Вот только твой риг быстро упрётся в количество разъёмов pci, и больше карт ты не подключишь, а тут в одной карте 96.
Да херня это всё. Для 200В+ моделей по-любому нужен прорыв, новое устройство. Китайцы могли бы замутить, новейшей телефонной памяти у них хватает, а чип какой доступен из современных - под устройство от 128гб по доступной цене коммьюнити быстро адаптирует программы для инференса. Не кудой единой. Но пока никто не взялся - корпорациям это тупо невыгодно, а толковых энтузиастов на всё не хватает.
>Написано, что в 4000 про модели будет 24гб. Если он будет в районе до150к рублей, я в припрыжку побегу покупать.
"Пропускная способность памяти 672 ГБ/с" - ну вот нахуя они так?
И не будет оно за 150к, "ПРО" там не просто так написано, а для прогрева :)
Умные нищуки не страдают с халявным клодиком и соннетом.
>"Пропускная способность памяти 672 ГБ/с" - ну вот нахуя они так?
Очевидно чтобы наказать за то что меньше платишь.
> "Пропускная способность памяти 672 ГБ/с" - ну вот нахуя они так?
Я бы всё равно купил...
Если ты про дешёвые карты, то смысла нет. Энтузиастов 3,5 землекопа и они нищие, а корпораты берут серверные решения. Зачем выпускать дешёвый картон, если можно выпускать дорогой? Собственно эта про серия и есть карты под LLM, много памяти и не самый слабый чип, как видишь даже тут, они продают тебе 64 гигабайта памяти по цене двух карт 5090.
> Если найдешь такие видяхи занедорого — молодец, скинь нам
Этот никому не нужный мусор килограммами продается, беги покупай
>>1106177
Каких именно моделей ты не нашел? Есть проблема с новым коммандером, где несколько слоев улетают в нули/наны толи из-за пробелмы с весами, толи из-за каких-то изменений если делать оценки а не фиксированный квант.
> дело не в гемме
Ее на второй день добавили и квант выложили же
> самому квантовать что ли
Обычно так и делают, 24гига хватает почти на все. Из готовых квантов все порядочные люди выкладывают калибровочный файл, скачав его можно быстро сделать любую битность если готовое не подходят. Но какой-то васян-щитмикс придется калибровать самостоятельно, что некоторое время займет.
> он все-таки не может поспевать так, как целая команда llama cpp, не может составлять им конкуренцию
Не то чтобы это проблема, даже наоборот раньше бывшая всегда была в переди. Дело в том автор занимается доводкой экслламы 3, на это и уходят основные силы.
>>1106180
> ггуф раньше считался кривым говном
Не то чтобы что-то изменилось, там до сих пор мультимодалки работают через жопу, так их еще сильнее поломали.
ExLlamav2 относительно простой в поддержке продукт. Сквантовать достаточно легко, собрать билд не сложно.
Правда там поддержка BuildTools возможно нужна, хз, и квантовать на свой язык хочется…
Но у меня проблемы не вызывает.
Собрал, поюзал вижн модель через openwebui, все збс работает.
Но чаще ггуф, конечно.
Не стоит фокусироваться на единственном формате просто.
>>1106182
Да, просто команду вводишь и ждешь.
>>1106215
Блядь, сука, ебучий дегенерат нахуй, вот я уверен, что это антитеслошиз и есть, пытается обосрать самого себя неумело, чтобы скомпрометировать оппонентов.
Не может же нормальный тредовичок настолько тупым, как эта хуйня.
ktransformers умеет загружать из оперативы в видеопамять те эксперты, которые будут отвечать на твой вопрос. Это повышает time to first token, но у нас ризонинг модель, как бы, похуй, и существенно ускоряет инференс.
Окей, не 3090, а 4090, или P40, или 3060, хули, с 2-битным квантованием хватит.
В llama.cpp были какие-то коммиты, пока ждем, может и туда завезут технологию.
А теперь иди нахуй, ебланище тупое со своей 4090 из картона.
>>1106227
Бля, да это точно он сам пытается насерить в штаны своим оппонентам.
>>1106236
ОРУ =D
>>1106242
Если все заработает вместе (архитектура движка, поколения видях), то да. Как выше сказали, если этого места не хватало — то теперь хватит.
>>1106251
Это и есть «рыночек порешал».
Я удивляюсь наивным ребятам, которые думают, что «рыночек порешал» это про удобство для клиента. Рыночек решает в пользу наиболее простого и выгодного для рыночка решения. А покупатели — лишь его часть, и не всегда те, кто в плюсе.
Так что все правильно, рыночек все решающий, это мы просто сосем, так рыночек и порешал, лол.
А вот антимонополии шатающие рыночек, это мы видели.
Кстати, почему антимонополия — одна в государстве, монополизированная? =D
Угараю, сорян. =)
>>1106254
Ну, в 1,58 бит влезет как раз, кек. =) Впритык.
Chatwaifu годная, пишет тонны текста, но я по английски общаюсь.
> Можно будет собрать за лям сервак под дипкок и впиндюрить в него две карты по 96
Это в какой валюте? Удачи саму карточку ниже ляма здесь найди для начала в этой стране, да и не только.
Ну и покупать такое железо только для инфиренса ллм в современных реалиях - верх маразма.
>>1106234
> другие жопят многоканал в ЦПУ
Что ты несешь, шиз
>>1106268
> Если там будет, условно 48 гб за цену 5090 (300к) то смысл будет
Если постараться то А6000 на 48 в эту цену можно найти. Будет примерно то же или ближе к аде по перфомансу.
>>1106276
> Для 200В+ моделей
Где эти 200б+ модели, с тобой в комнате? Единричная моезалупа для ограниченного применения, причем весьма тупая и неэффективная. Или перегруженные веса сделанные ради ачивки.
>>1106333
> Правда там поддержка BuildTools возможно нужна
Там просто пип инсталл, оно само собирает нужные части при первом запуске. Сложно будет со сборкой флешатеншн если не иметь готовой.
Ну, он еж хочет собрать из бранча, но в общем ты прав.
Да и флеши есть готовые у https://github.com/kingbri1/flash-attention/releases/ и https://huggingface.co/lldacing/flash-attention-windows-wheel/tree/main , я оттуда беру и все работает.
12б? Я её катал на английском и не понимаю, почему и кому она нравится. Может на хайпе была когда-то?
Модель явно не для адвенчуры, попизделки самые обычные (нет особых отличий от других моделей или вайба японских новелл), кум не такой красивый, как в Гутенбергах (или грязный, как в чистом магнуме). Единственный её плюс — это возможность поддерживать относительно вменяемо несколько действующих лиц в рамках одного сообщения, а не только ты и чар. Речь сейчас не о групповом чате. Таких моделей 12б довольно мало.
Но в остальном я плюсов не вижу, честно говоря.
Что тебе в ней понравилось? С чем ты её сравнивал?
Может это убедит меня попробовать модель ещё раз.
>Что ты несешь, шиз
Если ты не знаешь каку-то информацию, то это не значит что тот кто её говорит - шиз. Это значит что ты во-первых неосведомленный дурачок, во-вторых - малолетнее хамло.
У интела до 2019 была пользовательская линейка i9-X с поддержкой 4-канальной памяти, потом она исчезла.
Я взял просто с тэгом nsfw накачал 12-10,5b с huggingface разных вариантов, ну еще с рекомендуй листа. И у нее был самый нормальный чат и на текст она почти сразу не скупится. Тот же магнум надо сначала разговорить и он прям какой то слишком прямолинейный, а тут очень много каких то моментов добавляется не про само действие.
Меня инетерсует именно треп с фсяким фетишем на банни и кат
герл. Уже неделю оторваться не могу так кайфово, особенно когда начинаешь распрашивать о всякой ерунде.
>Блядь, сука, ебучий дегенерат нахуй, вот я уверен, что это антитеслошиз и есть, пытается обосрать самого себя неумело, чтобы скомпрометировать оппонентов.
>А теперь иди нахуй, ебланище тупое со своей 4090 из картона.
>Бля, да это точно он сам пытается насерить в штаны своим оппонентам.
Ну ты и шизик, лол. В рандомных постах совершенно разных анонов уже меня видишь, мне даже писать итт ничего не надо, ты уже по-дефолту полыхаешь.
Мимо - настоящий антитесла-анон
кстати добавлю к словам антитесла-шиза
чел >>1106333 , у тебя кажется какая-то когнитивная проблема. У тебя логическая нить рвется, ты будто говоришь сам с собой, а не с другими людьми. Пофикси себя, тебя просто нельзя понять.
мимо не антитесла-шиз
4000 имеет 24гб врам, и потому и будет стоить 2500$.
Вот бы он стоил 1000$...
>>1106400
Это тебе в https://2ch.hk/ai/res/1105166.html
Но сразу скажу что для кума - никому, нету таких.
Для степенного ролеплея есть https://openrouter.ai/ и ещё куча разного, сам не пользовался.
>>1106368
>можете посоветовать кроме chatwaifu для мелких карт?
- Гемма 12б.
- https://huggingface.co/Aleteian то что подсвечено.
- https://huggingface.co/OddTheGreat
- MagMell, Chronos, Wayfarer, Dangerous Winds - мистрали
Можно юзать на английском.
А UGI Leaderboard ты смотрел? Там смотреть надо, там база и именно там сейчас проще всего находить новые миксы всяких маленьких моделей. Там есть и треш в топе, но в то же время имеются и очень добротные варианты, про которые в треде никто не говорит.
В том числе и на русике, кстати. Хотя.. русик я там не сильно тестил.
Это да, прям по королевски. Я прям представляю как какой-то бург покупает себе несколько 5090 по 5к чтобы гонять нейронки, ебётся с блоком питания, корпусом, материнкой, а потом выясняется, что будет спец серия которая не будет так расхайана (или будет расхайпана настолько, что просто не доедет до прилавков) и он сможет купить её по ррц, да ещё и с 3х объёмом памяти на одну карту. И он даже на вторичку карту слить не может, так как цены уже упали и он потеряет не 20%-30% а 60 лол
>Для степенного ролеплея есть https://openrouter.ai/
Если судить по тем моделям, которыми там дают пользоваться бесплатно, это развод и скам. Модели уквантованы до такой степени, что они с любой задачей справляются хуже нейронок ниже 12b. Заность туда деньги это значит поощрять скаммеров.
Вначале купи эти 96гиг, а там поговорим. 4090 по 120к тоже говорили, что ОМГ, сумашествие. Лучшая инвестиция с тех пор
>какой-то бург покупает себе несколько 5090 по 5к
Для Бюргера она стоит 3.6к, держу в курсе.
Мимо-бюргер
>120к тоже говорили, что ОМГ, сумашествие. Лучшая инвестиция с тех пор
Чичто тред поржать с клоунов. На 120к это сколько токенов можно купить в топ-нейронках типа гемини, где 5 баксов лям. Больше чем ты в своём лакале сможешь выжать с лоботомитов. Инвестиции в прыщи и пердолинг!
мимо человек с 5к в месяц на апи
*прежде чем пердолька хрюкнет: я с этих 5к получаю 100к вот это блядь инвестиции. Ноль затрат на лектричество, перефирию и тряску что сосед врубит электросварку/китайский бесперебойник улетит со всем железом. Ебать тут инвесторы мамкины.
>>1106525
Офф цена 5090 32 гб - 1999$
Офф цена 6000 96 гб - 8300$
Три 5090 взять выгоднее.
inb4 кококо, они по 3к стоят сейчас
> Офф цена 5090 32 гб - 1999$
> Офф цена 6000 96 гб - 8300$
Какой будет Офф цена 4000? 2000$
Почему нвидиа не выпустит Дешнвую видеокарту для буста попенсорса?
Ору с такой наглости развода гоев. Вот раньше то схемки какие были хитровыебанные, ух, а сейчас уже даже стараться перестали.
>>1106251
Дык так рынок и должен работать. Олигополия - оптимальное состояние рынка, а антимонопольщики нужны чисто перераспределять сверхприбыли в коллективных интересах. Коллектив тут, если что, это кабанычи из менее жирных секторов экономики, а не Вы - быдло кривозубое.
>Почему нейронка напрягает энергоэффективные ядра
потому что интелы уже несколько лет как гавно
Какую информацию, что ты себе нафантазировал?
> У интела до 2019 была пользовательская линейка i9-X с поддержкой 4-канальной памяти, потом она исчезла.
Она никуда не делась и сейчас называется xeon-w. С подключением, малолетнее хамло и неосведомленной дурачок.
Идешь в магазин, покупаешь и не выебываешься. Дороха? Оно всегда было дорогим и нишевым продуктом, в пересчете на курсы и инфляцию даже дешево. Снижение было только на второй рефреш после неудачного запуска, когда конкурировали с дешевыми трипаками. Трипак тоже можешь купить, только с его ценой и при наличии эпиков/зеонов он вообще непонятно кому нужен.
>>1106525
Ебало коупера имаджинируйте.
Линейка квадр, а потом просто Ax000 существует много лет, но почему-то никто не бегал сливать десктопные карты и скупать их. Китайцы вообще зачем-то фермы из 4090 строят или перепаивают их ну другую память, во дураки.
> купить её по ррц
Без шансов
>>1106609
4к скорее всего будет эквивалентна по чипу 5070ти или 5080, они сильно слабее топа. Куртка благотворительностью заниматься не будет, только больше доить. Надейся на амд, интел, китайцев.
>Копро-раб, тебе слова не давали
Извини, но копро-раб этот тот кто кушает лоКАЛ. А я пользуюсь топовыми моделями, в большинстве случаев даром, пока ты над своими дрочерскими "ценными" данными трясешься аж гной с прыщей течет.
Конкретно тут я отписался по одной причине: ты дебил. Хочешь пердолькаться, просто будь честен перед собой. Кто тут в треде теслу покупает - у них мозги есть. Ты со своими "инвестициями" в лоботомитов для сука дрочьки - просто царь даунов.
скачал Q4_K_M квант отсюда
https://huggingface.co/bartowski/google_gemma-3-27b-it-GGUF
весит
>16.55GB
что с контекстом 8к будет примерно под 20 гб
и сука все равно не влезает в мои 16гб и 6гб затычки, что я делаю не так? пытаюсь через кобольдцпп сделать
То, с каким энтузиазмом ты оправдываешься и как стараешься подбирать обидные обороты, говорит само за себя.
То как ты пытаешься мне что-то приписать говорит само за себя. Я сру легко и непринужденно, а тебе вижу надо прям давить из себя.
У меня 8к контекста влезает на 12+32ддр5. 12к контекста уже никак.
У меня гемма жрёт 8-14 гигабайт контекста. Ебало моё имаджинировал?
Поэтому его надо квантовать. Да, есть шанс, что модель ошизеет, но порой вариантов нет.
Чем меньше контекст ставишь при квантовании, тем меньше шанс шизы.
Я квантую до 8 бит на 12-16к контекста, это уменьшает его размер на 50%. До 4 бит не пробовал. Но там ещё больше памяти освободится.
Расслабься и юзай новый мистраль, гемма говно.
Пишет сухо и не так креативно как тут описывают
Включи 8 бит kv_cache и влезет 16к контекста, или 4 бит и влезет 32к контекста
Системный промпт, настройки сэмплера, кривой бэк, кривые руки - что-то из списка
> through my cheeks
хппххпхпх ВНЕЗАПНО
Наверняка половина или даже больше прочитали это как "through my spine".
Скорее коупинг нищука с 24гб врам, походу продам почку и куплю ещё 2 3090
Типа "ты красивая шлюшка да?" - "я красивая шлюшка?"
Я вообще мимо проходил. Шиз тужась со слезами рассказывает как ему хорошо, орубля.
>>1106680
Гемма получше будет
>>1106697
Держись там
>гемма или мистраль
если 12B то мистраль, если >12B то гемма
>Единричная моезалупа для ограниченного применения, причем весьма тупая и неэффективная
Дипсик Р1 это таки хорошая топовая модель уровня корпоратов. Жаль что слишком большая.
>>1106466
Так, что за антитесла? Это же была база треда, тредов 50 назад.
>>1106483
Сижу жду, посмотрим что будет.
А на этих картонках можно будет игры запускать? Всё таки хочется универсального решения, а не негронки онли. Если она будет как 5090, но с кучей врам, тогда ок.
>>1106514
>Гемма тащит. 2К токенов за одно сообщение.
Токенизатор просто так себе.
>>1106592
>На 120к это сколько токенов можно купить в топ-нейронках типа гемини
Ровно ноль:
>Ваш аккаунт заблокирован за нарушение ToS, а деньги спизжены. Идите нахуй.
>>1106631
Потому что их нужно отключать.
>Токенизатор просто так себе
не, там максимальный аутпут стояло 4096, а так, всё что надо написала с первого свайпа
Я к тому, что кажется расход у геммы 3 выше, чем у других моделей. Просто ощущение, я не измерял.
https://huggingface.co/blog/mlabonne/abliteration
Мнение?
>расход у геммы 3 выше, чем у других моделей
не кажется, а выше, причём раза в два, так что без квантизации кэша неюзабельно, зато квантизация даже в Q4 не ломает, вообще не заметил падения качества
>>1106757
абла топ, и скажется не только на куме
> и скажется не только
судя по статье, цель именно отключение отказа модели на запрос. Вред отказа в том, что даже полезная инфа корректируется моделью с учётом её цензуры, что приводит к искажениям в выдаче. Учитывает ЧУВТСТВИТЕЛЬНЫЕ темы расы, возрастом, инвалидов, политкорректность, культуру и пытается рафинировать выдачу, выдавая пустышку.
>Я вообще мимо проходил.
Ага три раза, и еще раз прибежал рассказать как тебе всё равно, пердолька. Ори громче, тебя из-за шума вентиляторов не слышно.
>пустышку
Бизнес-ASSистент так и должен работать, на деле.
>не кажется, а выше, причём раза в два
Я не про то. Я к тому, что один и тот же текст будет занимать больше токенов на гемме, чем к примеру на лламе. А так да, и сами токены жирнее.
Какая же база!
Нищебродов фантазеров в клочки порвало, я смотрю. =D
> Так, что за антитесла?
Еще когда теслы были популярны, появился чел, который усирался, какие они говно.
В тред скинули скрин с бенчмарка кобольда, где на 8092 контекста приходится генерация 100 токенов. И вычисляется тотал тайм путем деления суммарного времени (80 секунд на обработку 8к контекста со скоростью 100 токенов в секунду и 20 секунд генерации) на 100 токенов генерации, в результате чего получался 1 токен в секунду (а не 5 фактических=).
Из чего чел сделал вывод, что ТЕСЛЫ ВСЕГДА ГЕНЕРЯТ СО СКОРОСТЬЮ 1 ТОКЕН/СЕКУНДА звуки булькания слюной
8к контекста у него всегда игнорируется и не считается, и важен только тотал тайм.
Почему его так рвет с тесл не ясно, по нынешним ценам они нахуй никому не нужны, но человек не успокаивается… Ну и вообще, детектится очень часто и легко своими охуенными идеями.
12б у него явно сломанная, вплоть до ошибок в английской грамматике, о чём на странице модели упоминается. Какие-то косяки с сокращениями глаголов после местоимений: it' вместо it's, I''ve вместо I've и т.д. И в ответах не совсем бред, но слабо релевантные.
> Дипсик Р1 это таки хорошая топовая модель уровня корпоратов
Хорошая, не уровня корпоратов и они и есть, но топовая - не. Много недостатков и сама по себе глуповата, количество активных параметров дают о себе знать.
> Это же была база треда, тредов 50 назад.
В количестве 1-2 штуки для бюджетного инфиренса - да.
Во время застоя между релизами начался какой-то цирк с чрезмерно активным постингом от их владельцев (или одного шиза) насколько это манна небесная и что всем срочно нужно закупаться. На упреки что это тормознутое говно, топящий за них неаккуратно вбросил бенч с совершенно смешной скоростью обработки контекста, выяснилось что генерация падает стоит ему чуть накопиться. С этого момента разгорелись срачи, с одной стороны шли аргументы что это не тесты (опроверждений не было), что обрабатывать контекст не нужно и зато все дешево, с другой - насмешки над "бесполезными железками", напоминание об их негодности нигде кроме инфиренса ллм и прочее.
В этих спорах любому адеквату понятно что:
лучше иметь хуевое что-то чем хорошее нихуя
лучше иметь карточку мощнее но каждая прибавка будет стоить все дороже
теслы в количестве более двух штук - удел терпеливых
если есть бюджет и/или хочешь не только в ллм то лучше сразу купить условные 3090 вместо тесел, если нет и нужен только инфиренс ллм - бери их и радуйся
>>1106786
Прикурил с огонька, вот этого до сих пор штырит. Наверняка был одним из главных участников.
Какой ужас. Моя память стёрла такую шизу. Впрочем, я опять забуду. Такова участь стариков за 30.
>>1106787
Картинки в сделку не входили.
Да, полыхание знатное. До сих пор цифры помнит и не поленился свои фантазии про слюну расписать.
Собственно, с такими поднадусеровыми другого исхода и быть не могло. Они же и провоцируют новые срачи, переводя споры и дискуссии в них.
ПЕРЕКАТ
>>1106799 (OP)
ПЕРЕКАТ
>>1106799 (OP)
ПЕРЕКАТ
>не хочу палить любимую модель
? Я к тому, что аблитерация не затрагивает часть с картинками. И как я выяснил, гемма 3 вообще плохо в обнажёнку умеет, тут тюн полноценный нужен.
Дефолтная 12б Джемма 3 может без системного промпта транскрибировать чернуху и то что трщмайор любит. Друг живущий под юрисдикцией другой страны тестировал недавно и доказал мне как он простым разговором вынудил её это делать и было заебись.
Когда стала стоить 30 деревянных - смысл пропал. Усе.
Как по мне тема исчерпана. По крайней мере для людей адекватных.
Кста, МИ25/МИ50 были бы отличным вариантом по всем статьям, если б не политика поддержки дров и полуживая (хуже только у интела) разработка рокма у амудэ.
Да нифига, она мне даже фильм детства Thursday искать отказалась и лекцию прочитала с телефонами доверия. Что за джейл?
Как гордый обладатель интеловского поделия скажу: экономия не стоит сопутствующего геморроя.
Формально, на бумаге, не такой плохой варик, НО:
1.Вообще не видел, чтобы кто нибудь пытался крутить ллмки на майнерских картах. А значит, если возникнет какой нибудь затык - тебе придется быть первооткрывателем в его решении.
2.Большое кол-во карт с малым объемом памяти приводит к дроблению весов между карточками, что в теории снижает производительность.
3.Сами ЦМПшки имеют урезанные линии писи, что для ЛЛМ вроде и не принципиально, но неприятно все равно.
4.У ЦМПшек достаточно серьезно обрезано кол-во КУДА ядер. Это уже принципиально. Формальный аналог 2080 до оригинальной 2080 не дотянет по производительности.
Блин ну просто в Context Data и в систем промпте пишешь что отключить и как интерпритировать подачу информации и укажи что пользователь - взрослый человек и ллм установлена на приватном ноуте локально.
Определенно.
Всякие серверные, майнерские и другие экзотические варианты - это уже для тертых калачиков, а судя по вопросу ты не из них. Да как и я в принципе))) Так что либо наращиваем компетенции, либо пользуемся бу нвидией.