Обсуждение — Дообучение (fine-tune) модели на VPS

Утром в кабинете бухгалтер зашёл — тот, которому я Keenetic до сервера ставил, с дачи через туннель работает. RDP только внутри, 3389 в интернет я ему НЕ открывал. И спрашивает ни с того ни с сего: а можно программу научить писать как мы в 1С пишем.

Я статью открыл с утра. Там всё как будто сервер уже Убунта и терминал. У меня не Убунта. Windows Server, служба крутится, стол по RDP. На роутере handshake зелёный, интернет через сервер идёт, это я руками настраивал. А куда в этом хозяйстве тыкать дообучение — ни службы знакомой, ни кнопки.

Систему ради чужой модели сносить не буду. Ему стол нужен и 1С, не линукс. Может это вообще не про винсервер. Кто с винды это поднимал, без переезда на убунту? Или сразу отдельную машину, а текущий сервер не трогать?

pavel_63 писал:
Систему ради чужой модели сносить не буду.

и не надо. я уже видела, как на винсервере рядом с 1С ставили питон «как службу» — через час база не открывалась, бухгалтер орал с дачи) дообучение это линукс и compose, не iis. стол оставь, модель — на соседнюю машину.

kate_ekb мой с дачи ещё сидит, орать будет мне, не тебе. Соседнюю машину отдам. Compose на этот с 1С не ставлю. :)

pavel_63 с винды это поднимали. Потом снимали.

pavel_63 писал:
Кто с винды это поднимал, без переезда на убунту?

прошлой зимой у клиента на Win Server рядом с 1С поставили WSL, «на посмотреть». Сорок минут — служба 1С уже не встаёт, rdp ещё дышал. Диск один, ядро одно. Чужая модель это не служба в IIS.

Соседнюю машину отдай, но линукс. Не второй винсервер со столом, чтобы бухгалтеру привычно. Туннель и 3389 внутри оставь как есть, это у тебя уже руками собрано. Статья про отдельную коробку с терминалом, не про его стол с дачи.

И ему сразу скажи: писать «как мы в 1С» за вечер не получится, это не кнопка. Если кто-то умудрился держать дообучение и 1С на одном винсервере — скинь. Есть живой пример?

lexa92 соседнюю отдай. видел лог: ollama на 0.0.0.0, к утру чужие промпты. 11434 в мир не открывай.

n1kita я бота своего с телефона рестартил, токен в лог светить боюсь. думал модель рядом крутануть «на посмотреть» — и вот ты про 0.0.0.0 и чужие промпты к утру)

чат маленький, дискорд и телега. 11434 в мир точно не надо, спасибо. если и поднимать — на другую машину, бота не трогаю.

hopstop писал:
думал модель рядом крутануть «на посмотреть»

рядом с живым ботом это тот же диск и та же память. полгода назад смотрел journalctl: модель клали «просто глянуть», памяти не хватило на загрузку, упали оба, токен в логе как на ладони. телефон ни при чём.

«на посмотреть» — это когда через сорок минут смотреть уже не на что. другую машину отдай. не соседнюю папку и не второй контейнер на этом же vps. pavel_63 стол с 1С не трогает по той же причине.

11434 и дообучение — разные вещи. порт слушает готовую модель. fine-tune занимает машину целиком, бот рядом не жилец даже на 127.0.0.1. слушать 11434 на localhost или в туннеле, не на 0.0.0.0. закрытый порт журнал сам не вычистит.

а у кого модель и прод на одном ядре ещё дышат?

nesterov, compose рядом с ботом уже дописывал — думал, это и есть другая машина. хорошо, что не нажал)

lexa92 писал:
Есть живой пример?

Если найдётся — пусть сам и чинит 1С с дачи, когда служба ляжет. Мне такого примера не надо.

Сяду бухгалтеру писать: за вечер «как мы пишем» не выйдет, это не кнопка. Линукс так линукс, лишь бы стол не трогать. Второй винсервер со столом ради модели не поднимаю.

lexa92 писал:
Чужая модель это не служба в IIS

Утром глянул журнал на кенетике — туннель живой, 3389 в мир не торчит. На этот стол даже «на посмотреть» не ставлю, бухгалтер с дачи ещё в машине бывает. Соседний линукс пусть крутит своё, провод к 1С не трогаю.

pavel_63 писал:
Compose на этот с 1С не ставлю

yaml на стол бухгалтера — он с дачи дозвонится раньше, чем контейнер встанет.)

lexa92 писал:
Диск один, ядро одно

С дачи утром набрал, чай ещё не остыл. Говорю про отдельную машину — он про кнопку к обеду. WSL после вашей зимы даже вслух не произнесу. На ту коробку его не пущу, ему 1С хватает.

pavel_63 писал:
WSL после вашей зимы даже вслух не произнесу

модель начнёт дообучение — 1с ляжет раньше, чем ты кружку поставишь. wsl это та же коробка, только ярлык другой. отдельный линукс ему даже не показывай, пусть кнопка останется на бумажке.)

pavel_63 писал:
ему 1С хватает

слово «модель» при нём даже не произноси. услышит «кнопка» — и к обеду будет ждать её на столе.)

pavel_63, соседний линукс это не wsl и не второй контейнер. я гипервизору когда-то отдал память под модель — хост ушёл в своп, rdp начал тупить, 1С даже не стояла. hopstop, хорошо, что не нажал. 11434 только в туннеле, не в мир.

lexa92 писал:
11434 только в туннеле, не в мир

У меня клиент попросил как-то «с телефона глянуть, без впн, минут на пять». Я ещё winbox не закрыл — в журнале винсервера уже брут, три страны. Порт модели наружу — та же дурь, что 3389. С тех пор без туннеля ни один такой порт не открываю.

Память гипервизору на той же коробке, где rdp — тоже мимо. Сеанс начнёт тупить, и сразу звонок, что программа зависла. Пусть учится на другой машине, до его rdp ей делать нечего.

hopstop, compose к боту не прикручивай. Это не другая машина.

kate_ekb про кнопку я уже запомнил :) Линукс ему всё равно не покажу. А у кого 11434 в мир торчит — давно первый скан пришёл?

pavel_63 писал:
А у кого 11434 в мир торчит — давно первый скан пришёл?

не ждала руки. утром скинули compose — «это соседняя, под модель, глянь». открыла vscode: слева yaml, справа терминал. в ports голый 11434:11434, без адреса. docker compose ps — 0.0.0.0. контейнер не рестартила, даже не трогала.

пока дошла глазами до этой строки, в логе уже /api/tags. минуты не прошло, чайник на кухне ещё не щёлкнул.

это не внутри докера. порт слушает интернет, пока ты файл смотришь.

мне от yaml вот это, остальное можно не присылать:

ports:
  - "127.0.0.1:11434:11434"

голый 11434:11434 — это не соседняя машина. это табличка на воротах. compose тут ни при чём.)

а у кого в файле до сих пор без 127.0.0.1?

kate_ekb, 127.0.0.1 сканеры отсекает, согласен. Дальше народ открывает «на пять минут с телефона» — и это снова 0.0.0.0. Я на той коробке сразу смотрю сокет, не yaml.

ss -tlnp | grep 11434

если не 127.0.0.1 — модель уже в мире. с дачи пусть лезут через туннель, не через порт.