Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Как обновлять локальные модели без простоя
После ollama pull в приложение иногда продолжают прилетать ответы старой версии модели — будто обновления и не было. А после systemctl restart ollama разом рвутся все соединения: и те, что уже генерировали ответ, и новые запросы, пока сервис не поднимется заново. Ниже — рабочая схема, как обновлять локальные модели и сам Ollama без разрывов: пошагово, с командами, конфигом HAProxy и цифрами с нашего стенда.
Подробнее →