Когда выбираешь модель для локального запуска, глаза разбегаются: 7B, 13B, 34B, 70B — и интуитивно кажется, что чем больше цифра, тем умнее ответ. Это не совсем так, и если следовать этой логике вслепую, легко арендовать сервер с дорогой видеокартой под 70B-модель, которая для вашей конкретной задачи не даст ощутимого выигрыша над моделью в разы меньше. Разберём, откуда взялся этот миф, где он работает, а где подводит.
Подробнее →