Судебный ассистент

Судебные приказы, исполнительные листы и постановления ФССП превращаются в таблицу по образцу и письмо юристу

PDF · сканы · Word · XML ФССП · YandexGPT с проверкой цитат

F1 0,80 на документах, которых система не видела

ЗАДАЧА

Сотрудники вручную переносят реквизиты из судебных документов в таблицу

ЧТО ДЕЛАЕТ ПРОТОТИП

Пять шагов от файла до письма

ТЕХНИЧЕСКИЙ ПОДХОД · 1

Двойное чтение: слой PDF и OCR проверяют друг друга

ocr_020: слой потерял «40 коп.», OCR их увидел — взята сумма с копейками

ocr_002: второй проход вернул дату приказа, адрес и период

ТЕХНИЧЕСКИЙ ПОДХОД · 2

Правила и обученная модель дополняют друг друга

Порядок по полям выбран на проверочных данных: номер и дата дела, период — сначала модель; пени — только правила; остальное — правила, пустое дополняет модель

Жёлтая ячейка: значение нашла только модель или правила и модель расходятся — юрист видит оба варианта

ЯНДЕКС AI STUDIO

Языковая модель — третий голос, который нужно доказать

1. YandexGPT возвращает по каждому полю значение и дословную цитату (JSON по схеме)
2. Код проверяет: цитата есть в документе, значение — в цитате, формат, слово поля
3. Не прошло проверку — модели на исправление, потом отбрасывается
4. Знакомая форма — правила главнее, модель подтверждает. Незнакомая — при расхождении побеждает модель с цитатой, ячейка жёлтая

Модели меняются одной строкой: LLM_MODEL (YandexGPT Pro/Lite, Qwen3, gpt-oss) и OCR_ENGINE (Yandex Vision OCR или Tesseract)

ЖИВОЙ ПРОГОН, 103 ДОКУМЕНТА

Правило «кому верить» выбрано на наборе А и проверено на Б и учебном. Итог точнее и правил, и модели по отдельности; на учебном наборе ничего не потеряно.

ТЕХНИЧЕСКИЙ ПОДХОД · 3

Модель учится только на сгенерированных документах

ТЕХНИЧЕСКИЙ ПОДХОД · 4

Проверки, которые сделал бы юрист

КОГДА НУЖЕН ЮРИСТ

Каждое решение объяснено словами

Причина видна в таблице, в веб-интерфейсе и в письме. Юристу приходит одно письмо: список актов с причинами и деталями, PDF и таблица XLSX во вложении.

8 из 23

судебных актов и 15 из 21 постановления ФССП на учебном наборе

Судебные документы

• не извлечено обязательное поле
• слой и OCR читают поле по-разному
• итог не сходится, реквизиты противоречат
• прежняя фамилия, 5+ должников
• низкая уверенность OCR (меньше 70%)

Постановления ФССП

• отказ в возбуждении ИП
• ИД возвращён взыскателю
• ИП прекращено
• XML расходится с парным PDF

ОТБОР ЮРИСТУ

Фразы-маркеры заказчика: 11 актов из 11

• «…» во фразе — пропуск: «Исковое заявление ПАО … к Иванову … оставить без движения»
• Слова по основе: «государственной пошлины» = «государственную пошлину»
• Глаголы строго: «отменить» ≠ «отменён» — иначе фраза ловит каждый приказ
• Перефразировки ищет модель, с цитатой и проверкой

В письме юристу — фраза и цитата из акта: «Оставить иск без рассмотрения», «Производство по делу прекратить».

КАК МЫ ПРОВЕРЯЛИ КАЧЕСТВО

Только на документах, которых система не видела

РЕЗУЛЬТАТ · СУДЕБНЫЕ ДОКУМЕНТЫ

Средний micro-F1 по наборам. Разрыв 0,11; у версии на одних правилах был 0,25.

XML ФССП на независимой синтетике: 0,93

ПРОГРЕСС ПО ВЕРСИЯМ

Все версии — на одном и том же новом наборе

Значимо: раунд 2 лучше раунда 1 на +0,033, 95% интервал от +0,018 до +0,049; лучше в 20 документах, хуже в 5, p = 0,004

Цена: неверных значений у связки больше, чем у правил (91 против 64), но большая часть помечена жёлтым

ПЕРЕОБУЧЕНИЕ

Снижение мощности модели разрыв не закрывает

Модель не заучивает примеры: на новых документах генератора качество как на обучающих

Разрыв — сдвиг распределения: в генераторе нет части реальных форм; помогают разнообразие данных, ансамбль и связка с правилами

ГДЕ ОШИБКИ СЕЙЧАС

Тест: 191 неверная ячейка из 840

По видам: 71 пропуск, 91 неверное значение, 29 лишних

Без жёлтой пометки: 52 ячейки — 6% таблицы

ГДЕ ОШИБКИ

Карта: документ × поле

Строится в интерфейсе по таблице ответов. Наведение — что получено и что ожидалось.

Карта показала: 15 из 21 ошибки — выбор основного должника в листах с несколькими должниками. Оказалось, он отмечен на бланке рукописной галочкой. Ассистент теперь её находит: ошибок 21 → 7, точность 0,952 → 0,984.

Оставшиеся 7 — расхождения с условностями разметки: СНИЛС в образце не заполняется ни разу, ИНН — не везде.

Светофор доверия

зелёный — подтверждено двумя источниками · жёлтый — проверить · красный — не найдено

Интерфейс: акты для юриста

кнопка → письмо с PDF и таблицей

ИНСТРУМЕНТЫ

Открытые библиотеки и модели — и для чего

КОД

Понятный код, который легко править вручную

• Модуль на каждый шаг: чтение, тип, поля, проверки
• Модель включается и выключается настройкой
• 132 теста, регресс по учебному набору
• Всё работает локально, без видеокарты

Где что менять

config.py — колонки, обязательные поля
review.py — правила «нужен юрист»
claim.py — формулировки сумм
address.py — типы улиц
fssp.py — теги XML
learn/gen.py — формы для обучения
learn/hybrid.py — правила или модель
tools/train_model.py — переобучить
tools/blind_eval.py — слепая оценка

ОГРАНИЧЕНИЯ

Что важно знать

• Тест синтетический: на реальном потоке результат может отличаться
• На незнакомой форме документа качество около 0,8, не 0,96
• Модель чаще ошибается значением, чем правила, — такие ячейки жёлтые
• Основной должник в листе с несколькими должниками — по правилу заказчика (сейчас первый)

ДАЛЬШЕ

Этап 2

• Разметить 100–200 реальных документов и замерить качество на них
• Дообучение YandexGPT Lite в AI Studio на размеченных реальных актах
• Пометка по уверенности модели: ошибок без пометки меньше 5%
• Журнал правок юриста — новые формы для генератора