MAATRIX / Блог / Qwen на своём сервере

Qwen на своём сервере

Блог MAATRIX · 2026-07-07

Qwen от Alibaba — сильное открытое семейство с отличной поддержкой русского и кода, от крошечных 0.5B до крупных моделей. Разбираем, как поднять Qwen на VPS и отдать его по API.

Содержание

  1. Линейка Qwen и выбор размера
  2. Быстрый старт: Ollama
  3. llama.cpp с GGUF
  4. vLLM и AWQ-кванты
  5. Подключение по OpenAI API
  6. Частые ошибки

Линейка Qwen и выбор размера

['Qwen2.5 покрывает широкий диапазон размеров, есть специализированные варианты под код и математику.', '
  • 0.5B–3B — для лёгких задач и слабого железа, идут даже на CPU влёт.
  • 7B / 14B — рабочая лошадка с хорошим качеством.
  • Qwen2.5-Coder — заточен под программирование.
  • 32B / 72B — максимум качества, но нужен GPU.
', '7B в кванте отлично живёт на CPU, а быстрый диск ускоряет загрузку весов. VPS MAATRIX (AMD EPYC + NVMe) даёт под это высокую производительность на ядро и мгновенный старт с NVMe.', 'Отдельная причина присмотреться к Qwen для русскоязычных проектов — сильная многоязычность. Модель уверенно держит русский, не срываясь на кальки и не теряя падежей, а это до сих пор слабое место многих открытых конкурентов. Плюс широкая линейка размеров позволяет точно попасть в бюджет железа: от 0.5B для встраиваемых сценариев до 72B для задач, где качество важнее стоимости инференса.']

Нужен сервер под эту задачу?

Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.

Арендовать VPS для Qwen

Быстрый старт: Ollama

['Ollama знает Qwen и сразу поднимает API.', '
curl -fsSL https://ollama.com/install.sh | sh\nollama run qwen2.5
', '
curl http://localhost:11434/v1/chat/completions \\\n  -H "Content-Type: application/json" \\\n  -d \'{"model":"qwen2.5","messages":[{"role":"user","content":"Привет"}]}\'
', 'Конкретный размер выбирается тегом: ollama pull qwen2.5:3b для лёгкого варианта, qwen2.5:14b для более качественного или qwen2.5-coder для задач с кодом. Ollama сама подберёт квант под доступную память и отдаст OpenAI-совместимый API — идеальная отправная точка, чтобы за пять минут проверить модель на своих запросах и уже потом решать, нужен ли более гибкий бэкенд.']

Нужны сами нейросети для контента?

Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.

Изображения и ВидеоАудио и звукИИ MAAT — Собеседник

llama.cpp с GGUF

['Для тонкого контроля над квантом берём llama.cpp и готовые GGUF-веса Qwen.', '
git clone https://github.com/ggerganov/llama.cpp\ncd llama.cpp && cmake -B build && cmake --build build -j
', '
./build/bin/llama-server \\\n  -m ./models/qwen2.5-7b-instruct-q4_k_m.gguf \\\n  --host 0.0.0.0 --port 8080 -c 8192 --api-key sk-local
', 'Готовые GGUF-веса Qwen выкладывает и сама команда Alibaba, и сообщество, так что конвертировать вручную не нужно. Для CPU-сценария снова оптимален Q4_K_M, а число потоков стоит задать флагом -t по числу физических ядер. Если планируешь работать с кодом, обрати внимание на отдельную ветку Qwen2.5-Coder — она обучена на программировании и заметно точнее в генерации и правках кода, чем базовая модель того же размера.']

vLLM и AWQ-кванты

['На GPU vLLM отлично тянет Qwen, а AWQ-версии экономят память почти без потери качества.', '
pip install vllm\npython -m vllm.entrypoints.openai.api_server \\\n  --model Qwen/Qwen2.5-7B-Instruct-AWQ \\\n  --quantization awq \\\n  --host 0.0.0.0 --port 8000 --max-model-len 8192
', 'Qwen поддерживает длинный контекст, но помни: чем больше --max-model-len, тем больше памяти уходит на KV-кэш и тем меньше остаётся под параллельные запросы. Если нужен именно большой контекст под документы, закладывай запас VRAM или снижай число одновременных сессий. AWQ-версия при этом ощутимо разгружает память по сравнению с полными весами, оставляя место под кэш.']

Подключение по OpenAI API

['Все бэкенды говорят на формате OpenAI — в коде меняем base_url и работаем как обычно.', '
from openai import OpenAI\nclient = OpenAI(base_url="http://SERVER_IP:8080/v1", api_key="sk-local")\nr = client.chat.completions.create(model="qwen2.5",\n    messages=[{"role":"user","content":"Напиши функцию на Python"}])\nprint(r.choices[0].message.content)
', 'Поскольку контракт стандартный, Qwen без переделок встаёт в любой стек, написанный под OpenAI: LangChain, LlamaIndex, самописные боты. Поддерживается и стриминг через stream=True, и системный промпт для настройки поведения. Это делает переход с облака на собственный Qwen практически бесшовным — меняются только адрес и имя модели, а вся остальная логика приложения остаётся прежней.']

Частые ошибки

['
  • Кривая кодировка ответов — проверь, что клиент шлёт и принимает UTF-8.
  • OOM на больших моделях — переходи на AWQ/GPTQ и режь контекст.
  • Медленно на CPU — бери размер поменьше (3B/7B) и квант Q4_K_M.
  • Порт наружу без защиты — Nginx + TLS + api-key обязательны.
']

Нужен сервер под эту задачу?

Разверните VPS MAATRIX за пару минут: NVMe, AMD EPYC, root-доступ, локации UK и США. Оплата картой РФ и по СБП.

Арендовать VPS для Qwen

Нужны сами нейросети для контента?

Генерируйте изображения, видео и озвучку нейросетями на falapi.io — десятки моделей в одном окне. Оплата картой РФ и по СБП.

Изображения и ВидеоАудио и звукИИ MAAT — Собеседник

Частые вопросы

Насколько хорош Qwen в русском?

Одна из сильнейших открытых моделей по многоязычности, включая русский, и отдельно хорош в коде (Qwen2.5-Coder).

Какой размер выбрать для старта?

7B Instruct — оптимум по качеству и скорости, работает и без GPU в 4-битном кванте.

Чем AWQ отличается от GGUF?

AWQ — 4-битный формат под GPU-инференс в vLLM, GGUF — универсальный формат для llama.cpp, в том числе на CPU.

Читайте также