VPS для LangChain-приложений: от скрипта до сервиса

LangChain — самый популярный каркас для сборки приложений на языковых моделях: чат-боты, RAG, агенты, обработчики документов. Развернём типовое LangChain-приложение на VPS и превратим его в живой сервис.

Почему LangChain держат на своём сервере

LangChain склеивает LLM, векторные базы, инструменты и память в единые цепочки. В проде такому приложению нужен постоянно работающий бэкенд с фоновой индексацией, вебхуками и очередями — а это как раз задача для VPS с root-доступом.

Держать LangChain на своём сервере выгодно: вы контролируете данные, ставите любые версии библиотек и не зависите от лимитов чужих платформ. Наружу можно выпускать только вызовы LLM, а можно и модель поднять локально.

Стоит сразу договориться о терминах. LangChain оперирует несколькими базовыми кирпичами: модели (LLM и чат-модели), промпт-шаблоны, ретриверы, память и цепочки, которые всё это связывают. Освоив эти пять понятий, вы соберёте практически любое приложение — от простого суммаризатора до многошагового агента.

Подготовка окружения

Ставим базовый стек. LangChain разбит на пакеты, тянем нужные модули:

apt update && apt install -y python3-venv git
python3 -m venv ~/lc && source ~/lc/bin/activate
pip install langchain langchain-openai langchain-community \
  qdrant-client fastapi uvicorn python-dotenv

Ключи и настройки держим в .env, а не в коде:

echo 'OPENAI_API_KEY=sk-...' > ~/app/.env

Собираем цепочку с ретривером

Классический RAG-чейн: ретривер достаёт контекст из Qdrant, промпт-шаблон собирает запрос, LLM отвечает.

from langchain_openai import ChatOpenAI
from langchain_community.vectorstores import Qdrant
from langchain.chains import RetrievalQA

store = Qdrant(client, "kb", embeddings)
qa = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(model="gpt-4o-mini", temperature=0),
    retriever=store.as_retriever(search_kwargs={"k": 4}))
print(qa.invoke("какие сроки доставки?"))

Ретривер с k=4 — разумный старт. Temperature=0 даёт стабильные фактические ответы, что для базы знаний важнее креатива.

Современный LangChain поощряет декларативный стиль LCEL — цепочки собираются оператором «труба», как в шелле. Это читается интуитивно: данные текут слева направо через ретривер, промпт, модель и парсер вывода.

from langchain_core.output_parsers import StrOutputParser
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"question": "условия гарантии?"}))

Такой подход упрощает отладку: каждый узел цепочки можно вызвать отдельно и посмотреть, что он вернул, а значит быстро понять, где именно теряется качество.

Добавляем память диалога

Чтобы бот помнил контекст разговора, подключают память. Для многопользовательского сервиса память привязывают к session_id и хранят, например, в Redis.

docker run -d --name redis -p 6379:6379 redis:7-alpine

Дальше в LangChain используется RedisChatMessageHistory — каждая сессия получает свою историю, и сервер спокойно держит десятки параллельных диалогов.

Важно ограничивать длину истории. Если складывать в память весь диалог, промпт разрастается, растут расходы на токены и падает качество. Используйте окно последних N сообщений или суммаризацию старого контекста — LangChain поддерживает оба варианта из коробки.

Превращаем в HTTP-сервис

Оборачиваем цепочку в FastAPI, чтобы дёргать по HTTP:

from fastapi import FastAPI
app = FastAPI()

@app.post("/ask")
def ask(q: str):
    return {"answer": qa.invoke(q)}

Запускаем и держим живым через systemd:

uvicorn main:app --host 127.0.0.1 --port 8000 --workers 2

Прод-эксплуатация

Юнит systemd поднимет сервис после перезагрузки, nginx закроет его TLS-ом, а логи помогут ловить ошибки цепочек. Типовой юнит:

[Service]
WorkingDirectory=/root/app
ExecStart=/root/lc/bin/uvicorn main:app --port 8000
Restart=always
[Install]
WantedBy=multi-user.target

LangChain-приложение с памятью и векторной базой комфортно живёт на 2–4 ГБ RAM. NVMe у MAATRIX ускоряет старт процессов и работу с Redis/Qdrant, а ежедневные бэкапы страхуют базу знаний.

Частые вопросы