Сообщество / Новая тема

Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

Об статье:
Перенос локальной LLM на другой сервер вместе с базой знаний

Локальный ИИ-стек — это не файл модели. Это модель плюс векторная база с эмбеддингами документов, плюс промпт-шаблоны и параметры RAG-пайплайна, плюс конкретная версия inference-рантайма, под которую всё это настраивалось. Если при переезде на другой сервер перенести только веса модели, а остальное поднять «как получится», ответы бота на собственных документах после переезда часто становятся хуже — и не всегда сразу понятно, почему.

Подробнее →