Сообщество / Новая тема
Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь
Об статье:
Запуск Llama 3 на своём VPS: Ollama, llama.cpp, vLLM
Llama 3 от Meta — одна из сильнейших открытых моделей, и её можно держать целиком у себя. Разбираем три пути запуска: простой Ollama, гибкий llama.cpp и быстрый vLLM. Семейство Llama 3 включает модели 8B и 70B (плюс обновления 3.1/3.2). 8B комфортно живёт на скромном железе, 70B требует много VRAM или агрессивного квантования.
Подробнее →