Локальный ИИ для малого бизнеса: с чего начать

MAATRIX

Если в компании уже несколько человек пользуются ChatGPT или другим облачным ИИ каждый день, вопрос «а не поставить ли своё» рано или поздно возникает сам — из-за счёта за подписки, из-за того, что в чат страшно вставлять договор с клиентом, или просто из любопытства. Разобраться, с чего начать, если вы не технарь и никогда не поднимали сервер, — вполне реально: ниже пошаговая логика без лишнего жаргона, с конкретными цифрами по бюджету и ссылками на подробные инструкции для каждого шага.

Зачем свой ИИ-сервер, если можно платить за ChatGPT

Короткий ответ: пока вас двое-трое, платить за облачный ИИ обычно и правда проще. Свой сервер имеет смысл, когда вы упираетесь в одно из трёх:

• Данные. Договоры, персональные данные клиентов, финансовая отчётность — всё, что улетает в облачный чат, физически покидает вашу инфраструктуру и попадает под чужую политику хранения. Для юриста, бухгалтерской фирмы, медицинского центра или любого бизнеса, работающего с чужой конфиденциальной информацией, это не абстрактный риск, а конкретный вопрос к договору с клиентом и к 152-ФЗ, если данные российские.
• Лимиты. Бесплатные и даже платные тарифы облачных ИИ режут длину контекста, количество запросов в день, скорость на пиках. Когда сотрудник по десять раз в час обращается к ассистенту, лимиты начинают мешать работать, а не помогать.
• Стоимость при росте команды. Подписка на одного человека выглядит скромно, но при 10-15 сотрудниках это уже сравнимо с арендой отдельного сервера — только сервер не растёт линейно с числом людей, а подписка растёт.

Если ни один из пунктов пока не про вас — держите ChatGPT, это разумно. Если хотя бы один совпадает, есть смысл присмотреться к локальному варианту: VPS для доступа к нейросетям и ИИ как раз для такого перехода, когда облако уже не устраивает, а с нуля поднимать инфраструктуру страшно.

Важная оговорка сразу: локальный ИИ на арендованном сервере без GPU — это не GPT-4 и не Claude. Это модели поменьше (7-14 миллиардов параметров), которые справляются с суппортом, поиском по документам, черновиками текстов, но не заменят топовую модель в сложных рассуждениях. Для 80% рутинных задач малого бизнеса этого достаточно, и дальше речь именно об этом классе задач.

С какой задачи начать: два простых сценария

Не пытайтесь сразу «поднять ИИ для всей компании» — это гарантированный способ забросить проект на середине. Начните с одной измеримой задачи из двух вариантов.

Чат-бот поддержки. Если у вас есть повторяющиеся вопросы от клиентов (статус заказа, условия доставки, типовые возражения) — обучите модель на базе ваших ответов и повесьте её первой линией перед оператором. Даже если бот закрывает 30-40% обращений без участия человека, это уже ощутимая экономия времени.

Поиск по внутренним документам. Если у команды скопилось много регламентов, инструкций, договоров и переписки, в которых никто не может ничего быстро найти — это вторая типовая точка входа. Вместо того чтобы листать десятки файлов, сотрудник задаёт вопрос на человеческом языке и получает ответ со ссылкой на исходный документ.

Оба сценария технически решаются одной и той же связкой инструментов, разница только в том, какие документы вы туда загружаете. Это удобно: один сервер, одна настройка, две пользы.

Минимальный бюджет и конфигурация для старта

Для обеих задач из предыдущего раздела не нужен GPU-сервер — это отдельная, куда более дорогая история для генерации изображений или обучения моделей. Для чат-бота на своих данных достаточно CPU-сервера с приличным объёмом оперативной памяти, потому что модель на 7-8 миллиардов параметров в квантованном виде занимает 4-6 ГБ и вполне работает на процессоре, просто чуть медленнее, чем на видеокарте.

Ориентировочная стартовая конфигурация:

С 8 ГБ RAM модель отвечает, но одновременно с ней сложно держать много других сервисов на том же сервере — если параллельно крутится ещё и сайт компании, берите 16 ГБ сразу. Подробная раскладка по моделям и памяти — в статье сколько RAM нужно для Ollama: таблица моделей; для второй задачи (поиск по документам) аппетиты по памяти чуть выше из-за индексации, но порядок цифр тот же.

Честно: цифры выше — ориентир, а не гарантия. Скорость ответа зависит от конкретного CPU, длины вопроса и того, сколько народу спрашивает одновременно. На старте лучше взять план с запасом по памяти и посмотреть на реальную нагрузку через пару недель, чем сразу переплачивать за максимальную конфигурацию.

Разворачиваем чат-бота поддержки: пошагово

Основа связки — Ollama (движок, который запускает модель и отдаёт её по API) и AnythingLLM (веб-интерфейс поверх Ollama, где загружаются документы, настраивается бот и ведётся история переписки). Ставится это на голый Ubuntu-сервер за один вечер.

Сначала Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5:7b
ollama serve

Модель qwen2.5:7b — разумный выбор для старта: она неплохо держит русский язык и укладывается в 8 ГБ RAM в квантованном виде. Если сервер слабее, можно взять модель поменьше — конкретные варианты под разный объём памяти в блоге разбирали отдельно.

Дальше поднимаем AnythingLLM через Docker — это избавляет от ручной установки зависимостей:

docker run -d -p 3001:3001 \
  --name anythingllm \
  -v anythingllm_storage:/app/server/storage \
  -e STORAGE_DIR=/app/server/storage \
  mintplexlabs/anythingllm

После запуска интерфейс открывается на http://ваш-ip:3001. В настройках выбираете провайдера модели — Ollama, указываете адрес http://host.docker.internal:11434 (или IP сервера, если контейнер и Ollama на разных машинах), выбираете загруженную модель. Дальше создаёте «Workspace» — это отдельное пространство под конкретного бота, куда загружаются документы с ответами на типовые вопросы (FAQ, регламент по доставке, скрипты возражений) и настраивается системный промпт: кто бот, как отвечает, что делать, если не знает ответа.

Полный разбор установки со всеми нюансами и частыми граблями — в статье AnythingLLM на Ubuntu 24.04: пошаговая установка. Если что-то не заработает с первого раза — чаще всего проблема в подключении к Ollama или в правах на директорию хранилища.

Готового бота можно встроить на сайт через виджет чата, который AnythingLLM отдаёт из коробки, или подключить к Telegram через API — второе чуть больше возни, но для малого бизнеса, где клиенты уже пишут в мессенджер, часто удобнее.

Поиск по внутренним документам: та же связка, другая задача

Технически это тот же AnythingLLM поверх той же Ollama, только вместо «Workspace для клиентов» вы создаёте «Workspace для команды» и загружаете туда внутренние документы: регламенты, договоры, инструкции, базу знаний. AnythingLLM автоматически режет документы на фрагменты, индексирует их и при вопросе сотрудника находит релевантные куски, передаёт их модели вместе с вопросом и получает ответ с ответом на конкретный документ — это называется RAG (retrieval-augmented generation), и вам не нужно разбираться в деталях, чтобы этим пользоваться.

Практический момент: чем аккуратнее оформлены исходные документы (заголовки, разбивка на разделы, без сканов в виде картинок без текстового слоя), тем точнее будет поиск. Если документы — это PDF-сканы, придётся сначала прогнать их через OCR, иначе индексация просто не увидит текст.

Если после загрузки документов бот отвечает невпопад или не находит очевидные вещи — почти всегда дело в формате файлов или в настройках чанкования, а не в самой модели.

Что дальше: рост, масштабирование, безопасность

Когда первая задача заработала и приносит пользу — не спешите сразу тащить в тот же сервер вторую и третью. Логичный порядок роста:

1. Убедитесь, что первый сценарий действительно экономит время — соберите обратную связь от команды или клиентов за 2-3 недели.
2. Если сервера не хватает по памяти при росте нагрузки (несколько десятков одновременных диалогов) — расширяйте RAM или переходите на сервер с GPU, это в разы ускоряет генерацию ответов.
3. Настройте резервное копирование — база знаний и история диалогов не должны зависеть от одного диска.
4. Ограничьте доступ к панели AnythingLLM паролем и, если это внешний интерфейс, вынесите его за reverse-proxy с HTTPS.

Про бэкапы ИИ-стека — отдельный подробный разбор в блоге. Если задачи вырастут до генерации изображений, обучения моделей под ваши данные или заметно более быстрого инференса — это уже территория GPU-сервера, и здесь стоит сразу закладывать, что конфигурация и бюджет будут другого порядка.

Оплата сервера из России — отдельный практический вопрос, который решается картой или криптовалютой без сложностей с банковским переводом за рубеж; детали — в статье как оплатить сервер в России из России картой и криптой.

Частые вопросы