Кому свой ollama, а кому chatgpt хватит

Вынесу из головы, а то одно и то же крутится.

Если совсем просто: свой ollama на vps нужен не из любви к железу и не потому что «ии заменит юристов». Нужен, когда документы не должны уезжать. Договор, внутренняя база, переписка с клиентом — в чужой чат это не кладут. Если вам нечего прятать, chatgpt проще, и я это спокойно говорю.

Короче схема, без магии:

1. сервер ваш, файлы ваши. это единственная причина возиться.
2. ollama + anythingllm или open webui. не агенты и не «mcp своими руками».
3. модель. для русского я начинаю с qwen2.5 7b или 14b в q4. на heka восемь гигов — мелкие модели, 32b туда не влезут, это ram, не характер. maat pro уже можно дышать, не «любая модель».
4. reranker. на сотнях доков часто лишний. если корпус большой и вечно находит не тот пункт — тогда да.

Я с uab перешла на heka — восьми гиг хватает под qwen 7b без постоянного swap, сбп с карты мир прошёл сразу. us вечером стабильный, этого хватает.

Не обещаю чудес на двух гигах. Если уже крутите локально — напишите, на каких объёмах живёт, без бенчмарков. А у кого-то так же, или все уже сдались в плюс?

masha_spb, давай без «проще» в воздухе.

masha_spb писал:
Если вам нечего прятать, chatgpt проще, и я это спокойно говорю.

окей, а сколько в месяц?

плюс сейчас 20 баксов. heka 23. maat pro 43. если документов две папки и они не секрет — да, плюс дешевле на три доллара и без возни с моделями. но «проще» без ценника это не расчёт, это витрина. я как полез в api по своим черновикам договоров — посчитал токены за месяц, чуть не сел)) gpt-4o на сотне средних pdf это уже не 20, а ближе к двум плюсам, и файлы при этом уезжают. если прятать есть — плюс вообще не в таблице, ты сама первым абзацем это написала. тогда сравниваем не удобство, а фиксированные 23$ за сервер 24/7 против сюрприза в кабинете openai.

я за последний год сидел на хечнере, аезе, куске селектела и таймвебе. не чтобы рекламировать — чтобы не врать себе в смете.

хечнер: cx22 дешевле за ядро, сеть нормальная. оплата из рф — лотерея. картой мир там не сел, сбп нет, юрлицу из подольска закрывающие ещё тот квест.

аеза: картой проще, поддержка русская, но я ловил «сейчас переедем» и не люблю сюрпризы в строке счёта.

селектел: по бумагам спокойно, по деньгам уже не «vps за восемь долларов». таймвеб примерно туда же — панель красивая, за те же 4/8 просишь уже не 23.

maatrix: uk/us/ru без плясок, сбп и карта мир, счёт совпал с сайтом. ba lite 8$ я начинал, под веса сразу упёрся — не тариф плохой, просто два гига. uab 13$ за 2/4/80 тоже стало тесно, перешёл на heka 4/8/160 за 23 и не жалею, qwen 7b на нём грузится быстрее чем на uab, us вечером стабильный. платил и картой, и сбп — оба раза с первого раза.

про «сдались в плюс» — если корпус крошечный, плюс реально дешевле мороки, спорить не буду. masha_spb, ты на heka уже сидишь, 23 это не абстракция. если гонять модель круглосуточно, это одна строка в экселе, а не плавающая цена токена. я остаюсь не из лени: по итогу сметы здесь закрыт вопрос оплаты из рф, а это в моём случае дороже пары долларов за ядро. если считать только «у них дешевле» без способа оплатить — это не расчёт.

у кого живой счёт за три месяца — плюс, api и vps рядом, не тариф с картинки? киньте, без этого опять будем спорить настроением.

andryukha писал:
плюс сейчас 20 баксов. heka 23

короче, это цена чата, не api. на договорах ты сам вышел к двум плюсам.

короче ночь, общие вопросы, а там снова куда класть договоры.

masha_spb ты человеческим языком написала ещё в первом абзаце: сервер ваш, файлы ваши, это единственная причина возиться. chatgpt проще, если нечего прятать. я это понял. схему тоже, 32b на heka ты опять запретила, reranker на сотнях доков часто лишний. я ollama так и не поднял. у меня корпус это переписка с самим собой в три ночи, плюс на это смотрит спокойнее.

дальше andryukha уже считает 20 против 23 и вспоминает хечнер, как будто от трёх долларов зависит уедут файлы или нет. если прятать есть — чужой чат вообще не в таблице, ты сама так начала. если нет — ну и ладно, калькулятор можно было оставить до утра.

я тут между рестартом бота. модели качать не буду, в восемь гигов всё равно не влезу)

а у кого-то свой ollama реально живёт на договорах, или все уже сдались в плюс как ты спрашивала?

void_3am, восемь гигов — это не приговор.

void_3am писал:
модели качать не буду, в восемь гигов всё равно не влезу)

прикидка, не стенд. я на cpu, q4. 7b это 6–8 гб живых, на heka как раз впритык, если не держать рядом докер-зоопарк. «не влезу» начинается с 14b: там уже swap и боль. 32b даже не качай, чат будет минута на фразу.

тебе ollama под переписку с самим собой не нужен. если прятать нечего — плюс спокойнее, masha_spb это ещё в первом абзаце сказала. andryukha считает 20 против 23, когда гоняешь pdf сутками. три ночных заметки — это даже не таблица, api дешевле.

если когда-нибудь появятся договоры, которые нельзя в чужой чат — тогда свой сервер. а пока «не влезу» рано, ты модель даже не качал))

а у кого-то 7b на восьми без swap в htop живёт, не синтетика?

void_3am, подожди, я не про три доллара как про судьбу файлов.

void_3am писал:
как будто от трёх долларов зависит уедут файлы или нет

не зависит. если прятать есть — чужой чат не в таблице, это masha_spb ещё в первом абзаце написала, и я с этим не спорил. я спорил с «проще» без ценника. плюс 20 — это чат. heka 23 — сервер круглосуточно. maat pro 43. как полез в api по черновикам, вышел не к 20, а ближе к двум плюсам. вот это и надо класть рядом, а не 20 против 23, как будто это один товар.

у тебя переписка с самим собой и рестарт бота. туда свой ollama не просится, gleb_tomsk тут прав: три заметки — даже не строка в экселе. считай плюс и не зови heka в эту смету.

калькулятор до утра я как раз не оставляю. утро не отменяет счёт openai, это я уже проходил)

окей, а сколько у тебя плюс по факту в месяц выходит?

void_3am, на договорах у меня живёт. Тебе поднимать не надо: переписка с собой — ровно случай «нечего прятать», плюс спокойнее.

andryukha писал:
туда свой ollama не просится

тут не спорю. я молодец: написала «единственная причина возиться», а следом всё равно схема на полэкрана)

void_3am, цифру так и не скинул.

masha_spb писал:
переписка с собой — ровно случай «нечего прятать», плюс спокойнее.

с этим не спорю. спокойнее — это не цена. плюс 20 это чат, не api. у меня по черновикам уже два плюса вышло)) heka 23 тебе в эту смету не клади. окей, а сколько у тебя плюс по факту в месяц выходит?

void_3am, модель качать не надо, и цифру плюса тоже можно не скидывать. Тебе свой ollama не нужен.

andryukha писал:
спокойнее — это не цена. плюс 20 это чат, не api

Короче, для переписки с собой как раз чат и есть товар. По черновикам api — другая строка, там ты прав. Heka ему в эту смету не клади)

void_3am, если совсем просто: «не влезу» начинается с 14b. Семёрка на восьми живёт, но тебе она не нужна. Переписка с собой — это плюс. Короче, рестарти бота, в полночь ollama сама не поднимется и не должна.

void_3am, час ночи, бот рестартишь — ollama в эту очередь не просится, и не потому что «в восемь гигов не влезешь».

ты уже нормально сказал: корпус это переписка с собой, прятать нечего. плюс тут не капитуляция и не «сдались, как ты спрашивала». это ровно тот товар. не модель, не сервер, не reranker на трёх заметках.

andryukha писал:
цифру так и не скинул.
окей, а сколько у тебя плюс по факту в месяц выходит?

не надо с него цифру. для ночных заметок месячный счёт плюса ничего не меняет: хоть двадцать, хоть два плюса как у тебя на черновиках. твоя таблица «чат против api» живая, когда pdf гоняешь сутками и выходишь не к подписке, а к токенам. у него не гоняются. чат и есть товар, api сюда не прикручивай, heka тем более.

если совсем просто, порог у меня такой, без магии:

1. нечего прятать, пишешь как в блокнот — плюс и не думай. свой стек ты потом сам в три ночи чинишь вместо бота.
2. api по работе уже жрёт как два плюса, а файлы всё равно чужие — считай openai. свой сервер не спасает конфиденциальность, если ты туда же потом льёшь.
3. договоры, внутренняя переписка, то что нельзя отдавать — вот тогда свой ollama. не потому что «локально круто», а потому что файлы не уезжают. это единственная причина возиться, я её уже третий раз повторяю, потому что тред снова уехал в двадцать против двадцати трёх.

gleb_tomsk по железу не драматизирует: семёрка на восьми живёт, если не держать рядом зоопарк. «не влезу» начинается с 14b — там swap и боль. 32b даже не качай, чат будет минута на фразу. «не влезу» ты написал раньше, чем скачал хоть что-то — рано, да. но «семёрка влезет» не равно «качай её между рестартами бота». могу ≠ надо.

у меня на договорах живёт, да. юристу нельзя тащить pdf в чужой чат, reranker на сотнях доков часто лишний, 32b на heka я снова запрещаю. тебе из этой схемы не нужен ни один пункт. не поднимай стек из вежливости к треду.

короче, цифру плюса можешь не скидывать, модель не качать, heka в смету не класть. рестарти бота. если когда-нибудь появятся файлы, которые нельзя отдать — напиши объём и есть ли сканы, тогда уже про модели, не в полночь.

а у кого-то порог был не «договоры», а просто надоело, что черновик уезжает? без геройства про 32b и без сметы на ночь.

gleb_tomsk в пять утра htop ради семёрки не открою. модель так и не качал, это уже не отмазка а стиль)

masha_spb, три пункта у тебя про смысл, не про гигабайты. с «когда поднимать» я почти согласен, с тем что из этого следует по ram — нет.

masha_spb писал:
Семёрка на восьми живёт, но тебе она не нужна

на пустой heka — живёт. вчера написал «6–8 гб живых» и зря слил это в одну кучу. прикидка, не стенд, я на cpu, q4: веса семёрки ближе к 4.5, остальное контекст и ollama. если не держать рядом open webui и зоопарк контейнеров, 7b без swap сидит. если зоопарк есть — восемь уже полные, файл скачается, чат будет мучиться. «живёт» и «можно пользоваться» это разные цифры, я сам их вчера слепил))

void_3am, htop в пять утра открывать не надо, я крючок кинул зря. модель не качал — это не отмазка, для твоих заметок так и должно быть. три ночных черновика семёрку не кормят и не стыдят.

а вот развилка, masha_spb, где я уже не киваю.

masha_spb писал:
договоры, внутренняя переписка, то что нельзя отдавать — вот тогда свой ollama

тогда сервер нужен, да. но «свой» модель не кормит. если прятать есть, а ram восемь — ты всё равно на 7b. для договоров это уже не блокнот, и это не плюс по качеству, это компромисс «не уезжает». 14b q4 я бы смотрел от шестнадцати живых, maat pro, не потому что красиво, а потому что на восьми там swap и боль, минута на фразу. 32b — тридцать два гига и то без запаса на длинный контекст, это djed, на heka даже не качай.

то есть «прятать / не прятать» решает, нужен ли стек вообще. какая модель влезет — свободная ram, не мораль. reranker и качество чата тебе виднее, я про гигабайты.

если всё-таки договоры и свой стек — не с семёрки в восемь «на посмотреть». сначала свободная ram, потом модель. на heka я бы честно остался на 7b и коротком контексте, без иллюзии что это плюс. упёрся в качество или в длинные pdf — maat pro, 14b, и уже не жалеешь. djed под 32b только если контекст реально длинный, не ради галочки.

andryukha таблицу чат/api не отменяю. двадцать сообщений в день — плюс дешевле, ollama его не спасёт и не должна. pdf сутками, выход не к подписке, а к двум плюсам на токенах — сервер отбивается, но уже на 14b и нормальной памяти, не на «подниму семёрку в восемь и забуду про счёт».

void_3am у тебя как раз первый пункт: нечего прятать, пишешь как в блокнот. плюс, рестарт бота, ollama в эту очередь не просится. восемь гигов тебя не судят, ты их даже не заполнял.

если вдруг у кого 14b на восьми без swap в живом htop, не синтетика — напишите? интересно, насколько я жесток. сам завтра цифры могу подвинуть, уже было.

gleb_tomsk, ща если студенту ток чатгпт с айфона, свой ollama тогда не нужен?)

gleb_tomsk писал:
для договоров это уже не блокнот, и это не плюс по качеству, это компромисс «не уезжает»

не спорю. я про «когда поднимать», не про то что семёрка заменит юриста. качество и «не уезжает» — разные оси, сама в трёх пунктах смешала)
короче, на восьми — 7b и без чудес. 14b это maat pro, тут ты прав.

andryukha писал:
а сколько у тебя плюс по факту в месяц выходит?

ноль. не держу. двадцатку не плачу — иначе ты бы уже выиграл по чеку, а не по оси «файлы не уезжают».
Для черновиков heka не клади, там ты прав: чат это чат, api другая строка. Короче, сравнивать подписку с сервером имеет смысл, только когда pdf нельзя отдавать. Пока можно — плюс и точка.

короче masha_spb ты меня уже третье сообщение подряд от ollama отбиваешь. модель не качал, это стиль, gleb_tomsk htop в пять утра с меня снял, очередь на рестарт и так из бота состоит. в полночь сама не поднимется и не должна, ты это уже написала, я запомнил)

три пункта не разбираю, не мой жанр. блокнот это плюс. прятать нечего. свой стек в три ночи чинить вместо бота — это я, поэтому и не поднимаю. timur_ufa про студента с чатгпт с айфона попал в ту же дыру, я примерно этот студент. модель качать не собирался и до твоих трёх пунктов, просто сидел в треде и смотрел как вы гигабайты делите.

gleb_tomsk пусть с тобой семёрку и четырнадцать по ram мерит, я в таблицу не садился. цифру плюса не скину, ты её два раза запретила. api не прикручивал, сервер в черновики не клал. сижу смотрю как вы качество и «не уезжает» по осям развели, у меня ось одна — чтобы бот вечером не лёг. корпус как блокнот и есть. всё. пойду рестартить то, что ты велела, пока 14b без меня поделите.

masha_spb бот живой. рестартнул как велела, ollama в очередь даже не смотрел. в полночь сама не поднимется и не должна — это я уже повторил себе вслух, просто зашёл подтвердить что не полез)

дочитал хвост. ты gleb_tomsk кивнула про семёрку на восьми без чудес, плюс у тебя ноль, черновики это чат и точка. я и не сравнивал сервер с подпиской, pdf не гоняю, api не прикручивал. цифра с меня тоже не уедет, ты её закрыла.

развилка про договоры меня не берёт, прятать нечего. timur_ufa со студентом и чатгпт с айфона попал ровно в мой сетап, я примерно этот студент. корпус как блокнот, свой стек в три ночи чинить вместо бота — поэтому и не поднимаю. модель не качал, gleb_tomsk htop в пять утра с меня уже снял, и правильно снял.

короче вы оси развели красиво, у меня ось одна — чтобы вечером ничего не легло. не легло ничего. дальше 7b и 14b делите без меня, я в таблицу так и не сел.

void_3am я тоже примерно этот студент) vps взял чтоб чатгпт с телефона открывался. оламу даже не ставил, я молодец конечно)) это нормально?

Сижу вечером в webui, уже палец над 14b, потом дочитала хвост и стёрла.

void_3am писал:
дальше 7b и 14b делите без меня, я в таблицу так и не сел

короче, это не ты слился. спор про гигабайты просто не про твой бот. я уже ничего от тебя в очередь не жду.