| masha_spb |
| Junior |
Сообщения: 44 |
Репутация: 18 |
| Дата регистрации: |
| 11.08.2026 |
АВТОР ТЕМЫ06 сент. 2026 г., 01:09 (GMT+3)
Час ночи. На втором экране Open WebUI, на первом — папка с pdf, которые днём закинула в коллекцию. Чай уже холодный, замечаю только когда глоток получается странный. Вопрос тестовый, из тех что задают не задумываясь: за сколько дней сторона обязана уведомить о расторжении. Модель уверенно тащит приложение с банковскими реквизитами. Я сначала крутила температуру. Потом нарезала чанки помельче. Потом сняла семёрку и поставила qwen2.5 14b в q4 — стало медленнее, смысл тот же, реквизиты никуда не делись.
Дошло с третьего круга. На прошлой неделе включила reranker. В гайде было написано так, будто без него это не RAG, а «просто поиск». Корпус у меня небольшой: около двухсот договоров, регламенты, акты. Не тысячи документов и не поиск по всей вселенной. Выключила reranker, вернула 7b. Даже эмбеддинги не пересобирала — боялась, что ещё час подождёт. Ответ про уведомление снова из той статьи, из которой надо.
Если совсем просто: reranker — это вторая модель, которая пересортировывает куски, которые уже нашёл поиск. Когда документов мало, первый поиск и так вытаскивает нужные страницы. Вторая модель начинает «улучшать» и подтягивает соседний мусор — приложения, шапки, похожие формулировки из другого договора. Кажется, что модель глупая. Модель нормальная. Её попросили быть умной не в том месте.
На Heka я когда-то сразу поставила 14b. Не влезло спокойно, пошло в своп, ответы тянулись так, что проще открыть pdf руками. Перешла на Maat Pro, шестнадцать гигов — 14b в q4 живёт без истерик. Для поиска по своим текстам семёрки в q4 до сих пор хватает чаще, чем хочется признать тем, кто пишет «берите семидесятку, в кванте влезет». На восьми гигах 32b — это не «чуть помедленнее». Это вы сидите и смотрите, как своп доедает диск, и думаете, что сервер умер. Не обещайте себе 70b. Не влезет, и для договоров не надо.
Дальше уже не теория, а то, на чём я обожглась.
Pdf я режу по статьям и приложениям, не по двум тысячам символов слепо. В договорах нумерация врёт: пункт 5.3 в одном месте, а текст уехал в другой абзац из-за таблицы. Первые сто страниц пролистала глазами. Иначе потом вечно ловишь «модель не то нашла», хотя нашла она ровно то, что скормили кусками.
Для русского юртекста начинаю с qwen2.5 7b q4. Четырнадцать миллиардов имеет смысл, когда корпус разъехался и семёрка начинает путать договоры между собой. Не наоборот. И не агенты, не мультиагенты, не MCP своими руками. Open WebUI плюс Ollama, или AnythingLLM, если удобнее закидывать папки. Нужен поиск по своим pdf, чтобы младший не тащил договор в ChatGPT. Это единственная причина поднимать сервер. Если документы спокойно могут уехать наружу — подписка у OpenAI выйдет дешевле и быстрее, тут нечего доказывать. «ИИ заменит юристов» я в такие ночи перечитываю как анекдот: юриста как раз нельзя заменить тем, что утечёт.
Reranker на сотнях документов часто лучше не трогать. На тысячах и когда «находит не тот пункт» — тогда да, и даже тогда я бы сначала перепроверила нарезку. Не ставить сразу только потому что в гайде красивая схема.
11434 в мир не торчит. Туннель или хотя бы basic auth на webui, лучше оба. Не из чеклиста, из лени объяснять в понедельник чужие запросы в логе.
В докере один раз пересобрала webui «на минутку» и потеряла все загруженные pdf. Модели на месте, файлы нет. Теперь тома отдельно: для весов и для документов. Модели переживают пересоздание контейнера, загруженные файлы — нет.
С прошлым хостингом семёрка качалась раза в три дольше. Здесь 7b доехала, пока я ходила ставить чай, минут десять, не полчаса. Не в этом, конечно, дело. Дело в том, что после часа возни виноват был не размер модели, а галочка, которую я поставила «потому что так правильно».
Большая модель не лечит кривые чанки. Reranker не лечит маленький корпус. ChatGPT не лечит то, что договор нельзя никуда отправлять. Если пара сотен pdf и вопрос «какой пункт» — начните с 7b без reranker и посмотрите глазами, что именно попадает в контекст. Если там уже мусор, чините нарезку, а не покупайте 32b.
А у кого-то reranker на небольшом корпусе реально помог, не «стало вроде умнее»? Интересно не бенчмарк, а живые документы.
Дошло с третьего круга. На прошлой неделе включила reranker. В гайде было написано так, будто без него это не RAG, а «просто поиск». Корпус у меня небольшой: около двухсот договоров, регламенты, акты. Не тысячи документов и не поиск по всей вселенной. Выключила reranker, вернула 7b. Даже эмбеддинги не пересобирала — боялась, что ещё час подождёт. Ответ про уведомление снова из той статьи, из которой надо.
Если совсем просто: reranker — это вторая модель, которая пересортировывает куски, которые уже нашёл поиск. Когда документов мало, первый поиск и так вытаскивает нужные страницы. Вторая модель начинает «улучшать» и подтягивает соседний мусор — приложения, шапки, похожие формулировки из другого договора. Кажется, что модель глупая. Модель нормальная. Её попросили быть умной не в том месте.
На Heka я когда-то сразу поставила 14b. Не влезло спокойно, пошло в своп, ответы тянулись так, что проще открыть pdf руками. Перешла на Maat Pro, шестнадцать гигов — 14b в q4 живёт без истерик. Для поиска по своим текстам семёрки в q4 до сих пор хватает чаще, чем хочется признать тем, кто пишет «берите семидесятку, в кванте влезет». На восьми гигах 32b — это не «чуть помедленнее». Это вы сидите и смотрите, как своп доедает диск, и думаете, что сервер умер. Не обещайте себе 70b. Не влезет, и для договоров не надо.
Дальше уже не теория, а то, на чём я обожглась.
Pdf я режу по статьям и приложениям, не по двум тысячам символов слепо. В договорах нумерация врёт: пункт 5.3 в одном месте, а текст уехал в другой абзац из-за таблицы. Первые сто страниц пролистала глазами. Иначе потом вечно ловишь «модель не то нашла», хотя нашла она ровно то, что скормили кусками.
Для русского юртекста начинаю с qwen2.5 7b q4. Четырнадцать миллиардов имеет смысл, когда корпус разъехался и семёрка начинает путать договоры между собой. Не наоборот. И не агенты, не мультиагенты, не MCP своими руками. Open WebUI плюс Ollama, или AnythingLLM, если удобнее закидывать папки. Нужен поиск по своим pdf, чтобы младший не тащил договор в ChatGPT. Это единственная причина поднимать сервер. Если документы спокойно могут уехать наружу — подписка у OpenAI выйдет дешевле и быстрее, тут нечего доказывать. «ИИ заменит юристов» я в такие ночи перечитываю как анекдот: юриста как раз нельзя заменить тем, что утечёт.
Reranker на сотнях документов часто лучше не трогать. На тысячах и когда «находит не тот пункт» — тогда да, и даже тогда я бы сначала перепроверила нарезку. Не ставить сразу только потому что в гайде красивая схема.
11434 в мир не торчит. Туннель или хотя бы basic auth на webui, лучше оба. Не из чеклиста, из лени объяснять в понедельник чужие запросы в логе.
В докере один раз пересобрала webui «на минутку» и потеряла все загруженные pdf. Модели на месте, файлы нет. Теперь тома отдельно: для весов и для документов. Модели переживают пересоздание контейнера, загруженные файлы — нет.
С прошлым хостингом семёрка качалась раза в три дольше. Здесь 7b доехала, пока я ходила ставить чай, минут десять, не полчаса. Не в этом, конечно, дело. Дело в том, что после часа возни виноват был не размер модели, а галочка, которую я поставила «потому что так правильно».
Большая модель не лечит кривые чанки. Reranker не лечит маленький корпус. ChatGPT не лечит то, что договор нельзя никуда отправлять. Если пара сотен pdf и вопрос «какой пункт» — начните с 7b без reranker и посмотрите глазами, что именно попадает в контекст. Если там уже мусор, чините нарезку, а не покупайте 32b.
А у кого-то reranker на небольшом корпусе реально помог, не «стало вроде умнее»? Интересно не бенчмарк, а живые документы.
0
