Qwen на своём сервере

Qwen от Alibaba — сильное открытое семейство с отличной поддержкой русского и кода, от крошечных 0.5B до крупных моделей. Разбираем, как поднять Qwen на VPS и отдать его по API.

Линейка Qwen и выбор размера

Qwen2.5 покрывает широкий диапазон размеров, есть специализированные варианты под код и математику.

• 0.5B–3B — для лёгких задач и слабого железа, идут даже на CPU влёт.
• 7B / 14B — рабочая лошадка с хорошим качеством.
• Qwen2.5-Coder — заточен под программирование.
• 32B / 72B — максимум качества, но нужен GPU.

7B в кванте отлично живёт на CPU, а быстрый диск ускоряет загрузку весов. VPS MAATRIX (AMD EPYC + NVMe) даёт под это высокую производительность на ядро и мгновенный старт с NVMe.

Отдельная причина присмотреться к Qwen для русскоязычных проектов — сильная многоязычность. Модель уверенно держит русский, не срываясь на кальки и не теряя падежей, а это до сих пор слабое место многих открытых конкурентов. Плюс широкая линейка размеров позволяет точно попасть в бюджет железа: от 0.5B для встраиваемых сценариев до 72B для задач, где качество важнее стоимости инференса.

Быстрый старт: Ollama

Ollama знает Qwen и сразу поднимает API.

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen2.5","messages":[{"role":"user","content":"Привет"}]}'

Конкретный размер выбирается тегом: ollama pull qwen2.5:3b для лёгкого варианта, qwen2.5:14b для более качественного или qwen2.5-coder для задач с кодом. Ollama сама подберёт квант под доступную память и отдаст OpenAI-совместимый API — идеальная отправная точка, чтобы за пять минут проверить модель на своих запросах и уже потом решать, нужен ли более гибкий бэкенд.

llama.cpp с GGUF

Для тонкого контроля над квантом берём llama.cpp и готовые GGUF-веса Qwen.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build -j

./build/bin/llama-server \
  -m ./models/qwen2.5-7b-instruct-q4_k_m.gguf \
  --host 0.0.0.0 --port 8080 -c 8192 --api-key sk-local

Готовые GGUF-веса Qwen выкладывает и сама команда Alibaba, и сообщество, так что конвертировать вручную не нужно. Для CPU-сценария снова оптимален Q4_K_M, а число потоков стоит задать флагом -t по числу физических ядер. Если планируешь работать с кодом, обрати внимание на отдельную ветку Qwen2.5-Coder — она обучена на программировании и заметно точнее в генерации и правках кода, чем базовая модель того же размера.

vLLM и AWQ-кванты

На GPU vLLM отлично тянет Qwen, а AWQ-версии экономят память почти без потери качества.

pip install vllm
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct-AWQ \
  --quantization awq \
  --host 0.0.0.0 --port 8000 --max-model-len 8192

Qwen поддерживает длинный контекст, но помни: чем больше --max-model-len, тем больше памяти уходит на KV-кэш и тем меньше остаётся под параллельные запросы. Если нужен именно большой контекст под документы, закладывай запас VRAM или снижай число одновременных сессий. AWQ-версия при этом ощутимо разгружает память по сравнению с полными весами, оставляя место под кэш.

Подключение по OpenAI API

Все бэкенды говорят на формате OpenAI — в коде меняем base_url и работаем как обычно.

from openai import OpenAI
client = OpenAI(base_url="http://SERVER_IP:8080/v1", api_key="sk-local")
r = client.chat.completions.create(model="qwen2.5",
    messages=[{"role":"user","content":"Напиши функцию на Python"}])
print(r.choices[0].message.content)

Поскольку контракт стандартный, Qwen без переделок встаёт в любой стек, написанный под OpenAI: LangChain, LlamaIndex, самописные боты. Поддерживается и стриминг через stream=True, и системный промпт для настройки поведения. Это делает переход с облака на собственный Qwen практически бесшовным — меняются только адрес и имя модели, а вся остальная логика приложения остаётся прежней.

Частые ошибки

• Кривая кодировка ответов — проверь, что клиент шлёт и принимает UTF-8.
• OOM на больших моделях — переходи на AWQ/GPTQ и режь контекст.
• Медленно на CPU — бери размер поменьше (3B/7B) и квант Q4_K_M.
• Порт наружу без защиты — Nginx + TLS + api-key обязательны.

Частые вопросы