Сообщество / Новая тема

Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

Об статье:
Стоимость одного запроса к вашей LLM: считаем честно

У облачного API есть прайс-лист: столько-то за миллион входных токенов, столько-то за миллион выходных — открыл страницу тарифов и узнал цену запроса заранее. У своей LLM на арендованном сервере такого прайс-листа нет, и вопрос «сколько стоит один запрос» ставит в тупик: сервер же оплачен целиком вперёд, при чём тут отдельный запрос? На самом деле цена есть, просто она не константа, а частное от деления — и меняется каждый месяц в зависимости от того, сколько вы этот сервер загрузили.

Подробнее →