14b на восьми гигах: влез файл, не влезла жизнь

Сразу оговорюсь: это прикидка, не стенд. Видеокарты нет, всё крутится на процессоре, qwen 14b в q4, связка llama.cpp / ollama. Вечером сидел и сводил цифры, потому что вчера самому себе написал, что на восьми гигах четырнадцатая «влезет, если очень захотеть». Захотел. Влез файл. Не влезла жизнь.

Сервер на maatrix, локация UK. Начинал с heka — 4 ядра, 8 гиг ram. Модель докачалась за минут десять, на диск встала без вопросов. Поднял процесс, чат как будто живой, а короткий вопрос думал секунд сорок–шестьдесят. Смотрю htop: оперативка в потолок, пошёл swap. Формально «работает». Пользоваться так нельзя — это уже не чат, а переписка с будущим.

Перенёс на maat pro, 16 гиг. Та же модель, тот же промпт — короткие ответы секунд за пять–семь, длинные уже не минута)) Для себя зафиксировал вот так, контекст средний, без 32k окон:

• 3–7b q4: живых 6–8 гб. Heka — впритык, если рядом ещё open webui и система. Браузер и зоопарк контейнеров лучше не держать: процесс не умрёт, ты будешь ждать.
  
• 14b q4: комфорт от 16 гб. На восьми будет swap и боль. «Процесс живой» не значит «можно сидеть и писать».
  
• 32b q4: от 32 гб, и то без запаса на длинный контекст. Это уже djed. На heka даже из спортивного интереса не стоит: файл скачается, фраза будет уходить минуту. Вчера зря пугал словом «никак» — формально скачается, просто незачем.
  
• sd / sdxl с cpu vps я не советую. Это другая песня и по памяти, и по времени. Не мерил — врать не буду.
  

Косяк вчерашней прикидки простой, и я на нём уже не первый раз: смотрел на размер файла модели и забывал про kv-кэш и обвязку. Файл 14b q4 весит примерно как вся оперативка heka, и кажется — вот оно, влезло. Потом поверх садится система, вебморда, кэш контекста, и если на том же ящике ещё эмбеддинги — ты уже живёшь в swap. Ollama к этому ещё свой оверхед добавляет, llama.cpp чуть скромнее, но гигабайты от этого не появляются.

С Hetzner когда-то гонял похожее. Карта из Томска там каждый раз лотерея, закрывающих не дождёшься. Тут сел и поехал, без этой карусели.

Цифры завтра могу сам поправить, уже было, не впервой. Таблицы токенов в секунду на все кванты у меня нет — только htop и ощущение «отвечает / не отвечает». Кто реально держит 14b на восьми гигах и смотрит живой htop, не калькулятор — напишите, куда уезжает память. Модель, контекст или обвязка? Интересно, насколько я жесток в «на восьми не надо». А у кого на шестнадцати уже упирается — хватает на чат или смотрите в сторону 32?

gleb_tomsk, ща прочитал и чуть запутался. ты свою модель вместо chatgpt крутишь? мне б с айфона просто в чат писать, денег маловато. 14b это космос)) а 7b на heka реально норм или тоже свап и ждать по минуте?

timur_ufa писал:
7b на heka реально норм

блин, для чата с айфона 7b хватает. секунды, не минута. 14b не надо))

gleb_tomsk ща понял, спасибо) 7b тогда за глаза. а с айфона как писать, просто браузер?

timur_ufa да, просто браузер. сафари на open webui — логин и пишешь как в обычный чат. 7b на heka для айфона как раз: секунды, не минута. отдельное приложение не нужно, главное рядом не крутить зоопарк, а то снова в swap уедешь))

timur_ufa тогда допишу нормально, а то вчера вечером сам себе наобещал лишнего, а тебе в двух строчках ответил — так и останешься с ощущением, что 7b это лотерея.

timur_ufa писал:
7b тогда за глаза. а с айфона как писать, просто браузер?

да, за глаза, и да — просто браузер. сафари, open webui, логин, пишешь как в обычный чат. отдельное приложение на айфон не ставил: модель живёт на сервере, телефон только рисует переписку. с мобильного интернета тоже ходит, это обычная страница.

теперь цифры, без которых я сам вчера вляпался. сразу: это прикидка, не стенд. видеокарты нет, всё на процессоре, q4, связка llama.cpp / ollama. 14b я мерил руками и смотрел htop. по семёрке — из той же логики плюс то, что сам крутил для чата, секундомер на каждое слово не ставил.

7b q4 весит на диске примерно 4–4.5 гига. в ram живых надо около 5–6 вместе с рантаймом. heka — 8 гиг. система съест гиг-полтора, open webui ещё чуть-чуть. итого без swap, если рядом нет зоопарка. на пальцах: 4.5 гига весов + 0.5–1 на кэш и рантайм + гиг система ≈ 6.5–7. на восьми остаётся щель. это не 14b, где щели нет совсем.

вот где обычно внезапно «семёрка тоже минута»:
— поднял вторую модель «на всякий» и она висит в памяти
— рядом докер-стек, который ты забыл
— контекст раздул до 16–32k «ну вдруг»
— на самом сервере открыт браузер с десятком вкладок

модель ни при чём. оперативка уехала в потолок — пошёл swap — ответы как с 14b на восьми гигах, то есть пользоваться нельзя.

для твоего сценария «с айфона просто в чат, денег маловато» heka и 7b как раз. короткие фразы у меня уходили за пару–три секунды, не за сорок. это не лабораторный бенч, повторюсь. но после вчерашней четырнадцатой на тех же восьми гигах, где короткий вопрос думал почти минуту, разница очевидная! там я сидел и сорок минут в htop смотрел, блин, пока не сдался и не перенёс на 16 гиг.

• 7b q4, чат, средний контекст: heka хватает. не держи рядом зоопарк и вторую модель
  
• open webui с айфона — сафари, https, логин. приложение не нужно
  
• 14b q4: комфорт от 16 гиг (maat pro). на восьми файл влезет, чат будет перепиской с будущим. я вчера это сам себе обещал «влезет если очень захотеть» — влез файл, не влезла жизнь
  
• 32b: от 32 гиг и то без запаса на длинный контекст. на heka даже не качай
  

про айфон ещё чуть практичнее, а то «просто браузер» звучит как отмазка.

заходишь по домену, не по голому http://ip — сафари на http с самоподписанным часто бесится или режет куки, потом «ввёл пароль и выкинуло». сертификат сам, это не магия хостинга. open webui должен слушать не только localhost, иначе с телефона пусто. я с компьютера проверял, что страница открывается, и только потом полез с сафари — иначе полвечера гадаешь, модель тормозит или ты просто не туда постучался.

с томска до uk страница открывается нормально, генерация всё равно на сервере. пинг страницы и скорость ответа модели — разные вещи. если кружок крутится долго, смотри htop, а не «айфон виноват».

деньги: не прыгай сразу в 14b. 7b для «просто поболтать вместо chatgpt с телефона» — это ровно тот объём, с которого я начинал, пока не упёрся в «хочу толще и с документами». когда упрёшься — 16 гиг, та же связка, тот же webui, модель подменишь. стек менять не надо. я с heka на maat pro так и ушёл, не пожалел, но ушёл уже после того, как 7b надоела, а не заранее «на вырост».

ещё раз, чтобы не смешать с заголовком треда: «влез файл, не влезла жизнь» — это про 14b на восьми гигах. не про семёрку. семёрка на heka для чата с айфона живая. 14b на восьми — нет. я вчера вечером сам эти две фразы в одну кучу смешал, поэтому ты и запутался, извини))

если через месяц 7b начнёт тупить в смысле качества, не скорости — тогда имеет смысл 14b и 16 гиг. не наоборот: сначала ram, потом модель. «какую модель» без «сколько ram свободно» — неправильный вопрос, я на этом уже обжигался.

а у кого есть живой htop именно на 7b на восьми гигах, не синтетика из калькулятора? напишите, интересно, насколько я щедр в этих 5–6 гигах. завтра если не влезу в свои же цифры — поправлю. уже было.

timur_ufa писал:
7b тогда за глаза

для чата с айфона — да. не лотерея. 14b туда не тащи, я вчера сам себе наобещал «влезет если захотеть» — файл влез, жить с этим нельзя))

где семёрка внезапно думает десятки секунд. вторая модель «на всякий»: веса из ram не уходят. на heka это сразу потолок, swap, и ты ждёшь как я на четырнадцатой. зоопарк контейнеров рядом закрывает ту же щель — система и open webui с одной 7b ещё дышат. плюс postgres «на будущее» и пара ботов — щели уже нет.

прикидка, не стенд. 7b q4 около 4.5 гб на диске, живых 5–6 в ram, heka восемь. одна модель — секунды, не минута. ради семёрки на maat pro не прыгай, это я на 14b упёрся и переехал. если завтра не влезу в свои цифры, поправлю, уже было.

а у кого есть живой htop на семёрке на восьми гигах, не синтетика? интересно, насколько я щедр.

gleb_tomsk, живого htop нет, сервак ещё даже не брал) но вроде понял — одна 7b и не крутить рядом кучу всего. а open webui это отдельно ставить надо или само как-то поднимается? хочу с айфона просто в чат как в обычный chatgpt, без танцев. heka ща гляну, 7b за глаза звучит норм.

timur_ufa писал:
open webui это отдельно ставить надо или само как-то поднимается?

я первый вечер ждал, что ollama сама выкатит чат в браузер. веса легли, в логе listening, открываю с ноута адрес сервера — белая пустота. минут пятнадцать смотрел в это и грешил на порт, потом на свой томский wifi)) дошло не сразу: модель живёт отдельно, страница чата — это другой процесс.

поднял контейнер рядом, yaml на полэкрана, compose up. docker ps показал два имени, webui слушает 8080. на ноуте вылезла форма логина, завёл юзера на коленке. с айфона зашёл по тому же адресу — ничего на телефон ставить не пришлось.

танцы один раз, на сервере. без них ollama сама окошко как в chatgpt не нарисует.

а у кого webui без докера, бинарником — сильно проще или всё равно два куска?

ща сижу в сафари, читаю про yaml и compose up и честно плыву)) докер ни разу не ставил, даже на ноуте. gleb_tomsk если без контейнера окошко само не вылезет — ладно, поставлю один раз. просто с айфона хотел как в обычный чат, а тут сразу два процесса. это с телефона вообще поднимается или лучше за компом сидеть?

timur_ufa писал:
это с телефона вообще поднимается или лучше за компом сидеть?

блин, я с сафари yaml открыл — сразу нет. сядь за ноут, с телефона потом пишешь.

gleb_tomsk ну ладно, с телефона тогда забью. ноут ща достану, он у меня в сумке с универа валяется. если один раз с него поднять получится — дальше с айфона уже как обычный чат, да? а то я уже чуть не полез yaml пальцем в сафари править)

timur_ufa писал:
если один раз с него поднять получится — дальше с айфона уже как обычный чат, да?

да. после этого айфон ничего не поднимает и ничего не ставит. сафари открывает страницу, модель крутится на сервере. пишешь как в обычный чат, только адрес свой.

«один раз» не рисуй себе как пять минут. у меня это был вечер на кухне: ноут на разделочной, стол в крошках, чайник ходил кругами. ssh зашёл спокойно, докер ставил с ноута, не с телефона. ollama контейнером, потом pull на семёрку. 7b q4 на диске примерно 4.5 гига — в логе слои один за другим, я третий раз кипятил воду и всё ещё downloading. это с клавиатуры переживается нормально, yaml пальцем в сафари — нет.

я сам с дивана чуть не полез править отступы, лень почти победила. ты хотя бы вовремя сумку открыл. я вчера 14b на восьми гигах обещал «влезет если захотеть» — тоже геройский заход, файл влез, жить нельзя))

а вот из-за чего у меня «на ноуте чат есть, с телефона тишина». это не модель и не сафари.

webui я сначала прибил к 127.0.0.1:8080. на самом сервере страница живая. с ноута через ssh ещё увидел форму логина и рано обрадовался. с айфона с мобильного — крутит и пусто. пока не переписал порты на 8080:8080, чтобы слушал снаружи, телефон ничего не рисовал. ufw status у меня был пустой, я секунд сорок смотрел в крутилку сафари и думал, что опять dns. нет, просто порт. правило на 8080 — и форма вылезла!

юзера завёл руками, пароль нормальный, не 1234: порт в мир, хоть и за логином webui. с айфона та же ссылка в сафари. сверху может написать, что сайт не защищён — это http на ip, я так и оставил на первый вечер. иконку на экран добавил, чтобы ip не ловить каждый раз. отдельное приложение не нужно.

когда наконец открылось, написал «привет» как дурак, проверить что живое. первая фраза подумала секунд десять, я уже собрался снова в порты лезть. нет, это холодный старт, веса в ram поднимает. вторая уже шла нормально. длинную простыню в чат на восьми гигах лучше не кидать: контекст тоже память, щель не резиновая.

heka восемь гиг, я это в голове крутил пока чайник орал. 7b q4 живых в ram примерно 5–6 вместе с рантаймом, система плюс open webui ещё гиг-полтора. на пальцах щель есть, не как на 14b. дальше на одной модели секунды, не минута. секундомер на каждое слово не ставил, это прикидка: 14b крутил руками и в htop смотрел, по семёрке из той же логики.

вторая модель «на всякий» на восьми гигах — веса из ram не уходят, сразу потолок и swap, и ждёшь как я на четырнадцатой. зоопарк контейнеров рядом, postgres на будущее, пара ботов — то же самое. одна 7b и webui.

ради семёрки на maat pro не прыгай. это я на 14b упёрся и переехал. для чата с айфона heka и одна модель — нормальная история, не лотерея.

если завтра не влезу в свои цифры — поправлю, уже было.

если с ноута форма есть, а с айфона пусто — сначала не веса вини, а куда webui слушает. я в эту тишину смотрел дольше, чем сейчас удобно писать. а у кого сразу слушал снаружи, без танца с 127.0.0.1?

gleb_tomsk с кофе сел тред читать, ты уже 127.0.0.1 чинишь. порты оставлю вам, я в другую колонку упёрся.

gleb_tomsk писал:
ради семёрки на maat pro не прыгай

heka 23 бакса, про — 43. вот и разница, не «на вырост». окей, а сколько в месяц выходит, если просто писать с айфона как обычный чат, без четырнадцатой?

я на бумажке накидал, калькулятор уже рефлекс)). семёрка на heka — 23 и токены не капают. плюс за двадцатку даёт чужое окно. когда сидел на хечнере, апи за месяц добралось почти до этих же 23, только закрывашку из подольска ещё выпрашивал письмами. юкассой с миром прошло, в счёте те же 23 — поэтому и считаю уже отсюда.

timur_ufa не бери сразу «на всякий». за 23 уже чат, за 43 платишь гиги, которые семёрке не нужны. без цифры «влезет если захотеть» — это как раз 14b на восьми гигах. у кого за август токены вышли дороже heka?

andryukha писал:
семёрка на heka — 23 и токены не капают

timur_ufa, если с айфона как обычный чат между парами — плюс реально дешевле, да. я на бумажке тоже сидел, чай остыл)) heka отбивается когда семёрка не спит сутками, не когда ноут ещё в сумке.

timur_ufa туннель мне форму логина нарисовал, я уже пальцы растопырил что готово. с айфона таб крутился минуты три, я сафари на телефон ругался. webui слушал 127.0.0.1, сам в себя. когда ноут достанешь — открой внешний айпи в браузере, не через ssh. палец в yaml тут ни при чём))