Библиотекарь оцифровал фонд: где хранить сканы и как по ним искать

MAATRIX

Фонд отсканирован, диски заполнены гигабайтами TIFF и PDF, а найти нужную страницу всё равно можно только если помнишь, в какую папку её сложил три месяца назад. Это типичная ситуация: оцифровка прошла, а библиотека как инструмент поиска — нет. Ниже — рабочая схема, как превратить свалку сканов на сервере в каталог с полнотекстовым поиском, без подписки на облачный сервис и без риска, что фонд «пропадёт» вместе с чужой платформой.

Почему папки с файлами обесценивают оцифровку

Сканирование — это половина работы. Вторая половина — сделать так, чтобы отсканированное можно было найти. Пока сканы лежат в структуре вида Фонд-12/Опись-3/Дело-45/scan_034.tif, работает только один сценарий поиска: сотрудник помнит номер дела наизусть или листает опись вручную. Это ровно то же самое, что было до оцифровки, только вместо шкафа — файловый менеджер.

Проблема глубже, чем неудобство. Скан — это картинка. Файловая система и почти любой сетевой диск умеют искать по имени файла, дате изменения, иногда по тегам в свойствах — но не по содержимому страницы. Если читатель просит найти упоминание конкретной фамилии или события, а весь текст существует только в виде пикселей, единственный ответ — «полистайте всё, что у нас есть». При фонде в несколько тысяч единиц хранения это не поиск, а имитация поиска.

Дополнительно копится техническая грязь: дублирующиеся сканы одного и того же листа с разными именами файлов, вперемешку лежащие мастер-копии высокого разрешения и уменьшенные версии «для читателей», отсутствие единой системы именования между сотрудниками, которые сканировали в разное время. Через год-два в этом массиве без специальной прослойки — базы метаданных и индекса — не разберётся уже никто, включая того, кто всё это сканировал.

Решение не в том, чтобы «навести порядок в папках» — жёстче переименовать файлы, завести Excel-реестр. Это временная заплатка, которая снова расползётся при следующей партии сканов. Нужна отдельная система: хранилище с понятной структурой, каталог с метаданными и индекс полнотекстового поиска, который умеет заглянуть внутрь картинки через распознавание текста.

Три слоя цифровой библиотеки: хранилище, каталог, поиск

Прежде чем разворачивать конкретный софт, полезно разделить задачу на три независимых слоя — это убережёт от попытки найти «одну программу для всего», которой в природе не существует.

Хранилище — это просто файлы: мастер-копии в высоком разрешении и производные копии для повседневной работы. Слой отвечает за то, чтобы данные не терялись, были защищены от порчи и не пропадали при сбое диска.

Каталог — структурированное описание единиц хранения: название, автор, год, шифр по вашей системе классификации, физическое местонахождение оригинала (если он ещё существует), связь между отдельными сканами и логической единицей (книга, дело, номер журнала). Каталог — это то, что раньше жило в карточках каталожного ящика.

Поиск — индекс, который позволяет находить материалы не только по полям каталога, но и по содержимому — то есть по тексту, распознанному внутри отсканированных страниц.

На практике для книжного фонда роль каталога хорошо закрывает Calibre-Web, для архивных дел и разрозненных документов — Paperless-ngx, который совмещает каталог и полнотекстовый поиск через встроенное распознавание. Обе системы можно поставить рядом на одном сервере: книги идут через одну, россыпь документов, писем, актов — через другую. Дальше — по порядку, с конкретными шагами.

Хранилище: где физически лежат сканы и в каких форматах

Прежде чем заводить каталог, наведите порядок на уровне файлов — иначе любая система поверх унаследует хаос.

Разделите мастер-копии и рабочие копии физически, в разных каталогах:

/srv/library/masters/     # оригиналы сканирования, только чтение после приёмки
/srv/library/access/      # производные копии для читателей и поиска
/srv/library/consume/     # временная папка, куда падают свежие сканы для обработки

Мастер-копии — это то, что вы сканировали изначально: TIFF без сжатия или с lossless-сжатием, обычно 300–600 dpi в зависимости от того, насколько мелкий шрифт и насколько ценен оригинал. Эти файлы после приёмки и проверки качества лучше делать доступными только на чтение (chmod 444 на уровне файлов или отдельный непривилегированный пользователь для записи в этот каталог) — случайная перезапись мастер-копии не должна быть возможна одним неловким скриптом.

Из мастер-копий генерируются производные: PDF или PDF/A с распознанным текстовым слоем для повседневной работы и выдачи читателям, JPEG-превью для быстрого просмотра миниатюр. Формат PDF/A предпочтителен именно для архивного использования — это профиль PDF, рассчитанный на долговременное хранение, без внешних зависимостей вроде шрифтов, которых через десять лет может не оказаться в системе.

Для самого хранения на сервере имеет смысл не изобретать велосипед, а взять обычный отказоустойчивый том (RAID для дисков на выделенном сервере, либо просто бэкапы по расписанию для VPS) и добавить контроль целостности: считайте и храните контрольные суммы (sha256sum) для мастер-копий сразу после сканирования, и периодически перепроверяйте их — это единственный способ узнать, что файл незаметно повредился, до того как это заметит читатель. Про организацию холодного хранения для копий, которые редко нужны, но должны быть под рукой годами, есть отдельный разбор — holodnoe-hranenie-arhivov.

Если фонд растёт быстро и один диск на сервере перестаёт вмещать всё, следующий шаг — S3-совместимое хранилище у себя (MinIO поверх вашего сервера), которое даёт единую точку доступа для всех сервисов каталога и поиска и упрощает резервное копирование как отдельный процесс, а не «скопировать папку руками».

Paperless-ngx: OCR и полнотекстовый поиск по документам и делам

Для архивных единиц — дел, писем, актов, разрозненных документов, где нет единой книжной структуры — Paperless-ngx закрывает сразу каталог и поиск. Это система документооборота с открытым кодом: вы кладёте скан в папку, она прогоняет его через OCR, извлекает текст, позволяет навесить метаданные (тип документа, корреспондент, теги, дата) и делает всё это искомым — в том числе по содержимому.

Разворачивается через Docker Compose — есть готовый файл с разбором параметров: kak-ustanovit-i-nastroit-paperless-ngx-na-vps. Ключевой момент для библиотечного/архивного применения — язык распознавания. По умолчанию OCR настроен на английский, для русскоязычного фонда это нужно поменять явно:

environment:
  PAPERLESS_OCR_LANGUAGE: rus+eng
  PAPERLESS_OCR_LANGUAGES: rus eng
  PAPERLESS_OCR_MODE: skip_noarchive

PAPERLESS_OCR_LANGUAGE: rus+eng указывает Tesseract (движок распознавания под капотом) использовать одновременно русский и английский словари — это важно, если в фонде встречаются документы с иностранными вставками, названиями, латиницей в датах и подписях. PAPERLESS_OCR_MODE определяет, что делать, если в PDF уже есть текстовый слой: skip_noarchive не трогает такие файлы повторным распознаванием, что экономит время на массовой загрузке архива, где часть сканов уже прогнана через OCR раньше другими средствами.

Рабочий процесс для оцифрованного фонда: сканы (или уже готовые PDF) сваливаются в папку consume, Paperless сам их подхватывает, распознаёт, предлагает теги на основе правил, которые вы настраиваете (например, по штампу учреждения или ключевым словам определять тип документа). После обработки документ доступен в веб-интерфейсе с полнотекстовым поиском — можно искать по фамилии, номеру дела, фрагменту текста, а не только по названию файла.

Для дел с ограниченным доступом (архивные материалы, которые нельзя показывать всем сотрудникам) в Paperless есть разграничение прав на уровне пользователей и групп — это отдельная настройка, но принцип тот же, что и в других профессиях, где часть материалов должна оставаться закрытой для посторонних.

Важная оговорка: качество распознавания русского рукописного текста и старой дореформенной орфографии заметно хуже, чем печатного современного текста — Tesseract хорошо справляется с чёткой печатью, но на рукописях, готическом шрифте или сильно выцветших страницах будет много ошибок распознавания. Для таких материалов полнотекстовый поиск сработает частично: найдёт то, что распозналось верно, но не заменит просмотр глазами. Закладывайте это в ожидания сотрудников и читателей заранее, чтобы не разочаровывать обещанием «найдёт всё».

Calibre-Web: каталог для книжного фонда

Если значительная часть оцифрованного — это книги (монографии, редкие издания, периодика, собранная в тома), Paperless — не лучший инструмент: он заточен под отдельные документы, а не под структуру «книга → главы → страницы» с обложкой, автором, годом издания и ISBN. Здесь удобнее Calibre-Web — веб-надстройка над библиотекой Calibre, изначально созданной для личных электронных библиотек, но прекрасно подходящей и под фонд организации.

Ставится тоже через Docker Compose: kak-ustanovit-i-nastroit-calibre-web-na-vps. Что она даёt конкретно для оцифрованного фонда:

• каталог с обложками, автором, серией, годом, издательством — заполняется как вручную, так и автоматически через метаданные внутри файла;
• поддержку форматов PDF, EPUB, DjVu (DjVu особенно уместен для сканов старых книг — формат специально придуман для сжатия отсканированных страниц лучше, чем обычный PDF);
• полнотекстовый поиск по метаданным каталога (не по содержимому книги — это важное отличие от Paperless, где ищется именно текст внутри документа);
• выдачу читателям через OPDS-фид — это открытый протокол, который понимают большинство читалок электронных книг, то есть читатель может подключить вашу библиотеку прямо в приложении на телефоне или ридере вместо того, чтобы скачивать файлы вручную;
• разграничение прав чтения по пользователям и полкам (shelves) — можно закрыть часть фонда только для сотрудников, оставив читателям публичную часть.

Практическая связка: если у книги есть скан-мастер в TIFF и распознанная версия в PDF с текстовым слоем, в Calibre-Web имеет смысл хранить именно PDF-версию с OCR — тогда хотя бы встроенный просмотрщик PDF в браузере читателя сможет искать по странице средствами самого PDF, даже если общий каталог Calibre-Web индексирует только метаданные, а не текст.

Сколько оперативной памяти закладывать под Calibre-Web и Paperless-ngx на сервере, зависит от объёма фонда и частоты фоновой обработки OCR — единой цифры тут нет, и стоит закладывать запас, а не рассчитывать впритык под текущий объём загрузки.

Права доступа, резервные копии и рост фонда

Библиотечный или архивный фонд редко бывает полностью открытым: часть материалов доступна всем читателям, часть — только сотрудникам, часть вообще под грифом ограниченного доступа (персональные данные в старых делах, материалы с истёкшим, но не бесконечным сроком ограничения). Оба инструмента — Paperless-ngx и Calibre-Web — поддерживают пользователей и группы, но проектировать права нужно заранее, а не когда уже кто-то получил доступ не туда: заведите минимум три роли — администратор каталога (полный доступ, включая мастер-копии), сотрудник читального зала (доступ к рабочим копиям и метаданным), читатель (доступ только к тому, что явно открыто).

Резервное копирование для оцифрованного фонда — это не разовая настройка, а процесс, который нужно проверять регулярно: правило «3-2-1» (три копии данных, на двух разных носителях, одна копия вне основной площадки) применимо к мастер-копиям в первую очередь — их пересканирование, если оригинал утрачен или недоступен, может быть попросту невозможно. Базы данных Paperless и Calibre (PostgreSQL/SQLite с метаданными) бэкапить нужно отдельно от файлового хранилища — потеря базы при живых файлах означает, что весь каталог и результаты распознавания придётся восстанавливать по новой, а это недели работы, а не часы. Общий обзор того, какой сервер закладывать под архивную нагрузку с бэкапами, — vps-dlya-bekapov-i-arhiva-chto-vybrat-i-kak-nastroit.

Рост фонда стоит закладывать сразу: если сейчас это несколько тысяч дел или книг, а фонд активно пополняется, дисковое пространство лучше брать с запасом, а не расширять диск каждые несколько месяцев в аварийном режиме. Отдельно стоит продумать momент, когда поиск по метаданным и встроенный полнотекстовый поиск Paperless перестанут справляться с задержками на большом объёме документов — тогда имеет смысл вынести индекс в отдельный движок полнотекстового поиска (Meilisearch или Typesense) поверх уже накопленного текстового слоя, но для типичного библиотечного или архивного фонда среднего размера встроенных возможностей Paperless-ngx и Calibre-Web хватает без дополнительной инфраструктуры.

Частые вопросы