Как оценивать точность распознавания
Заявленный процент точности почти ничего не говорит: непонятно, что считали и на чём. Разбираем, как проверить на своих документах.
На этой странице нет сравнительной таблицы с конкурентами: их цены и возможности меняются, а писать о чужих продуктах по памяти — значит вводить вас в заблуждение. Вместо этого — критерии и вопросы, которые стоит задать всем, включая нас.
По чему сравнивать
01Что именно измерялось
Точность по символам, по полям и по документам — три разные величины. 99 % по символам может означать ошибку почти в каждом счёте: в двадцатизначном счёте это уже неверная цифра.
Как проверить: Спросите, что считалось единицей: символ, поле или документ целиком.
02На каких документах
Точность на чистых типографских бланках и на фотографиях мятых счетов различается принципиально. Цифра без описания выборки не переносится на ваш поток.
Как проверить: Попросите описать выборку: типы документов, доля сканов и фотографий, качество.
03Что считается ошибкой
Пустое поле — это ошибка или нет? А поле, помеченное как требующее подтверждения? От ответа цифра меняется в разы.
Как проверить: Уточните, как учитываются пропуски и неуверенные значения.
04Проверяемость на своих документах
Единственная цифра, которая имеет значение, — полученная на вашем потоке. Всё остальное — чужая выборка.
Как проверить: Возьмите 20 своих документов, разберите и сверьте по полям вручную. Это несколько часов и полная ясность.
Вопросы поставщику
- 1Что вы считали единицей измерения точности: символ, поле или документ?
- 2На какой выборке получена цифра и есть ли в ней фотографии?
- 3Пустое поле считается ошибкой?
- 4Что происходит с полем, которое не удалось прочитать уверенно?
- 5Можно ли проверить на моих документах до оплаты?
Наши ответы на эти же вопросы
- Своей цифры точности мы не называем и не будем: у нас нет измеренной выборки, а придумать процент легко и бессмысленно.
- На пилоте первый документ каждого клиента разбирается вручную — там точность определяется человеком, а не моделью.
- Поле, которое не удалось прочитать, остаётся пустым. Мы не подставляем правдоподобные значения: пустая ячейка видна, а выдуманная уходит в платёж незамеченной.
- Проверить на своих документах можно и нужно: пилот на 30 дней ровно для этого и существует.
Вопросы
Почему вы не называете процент точности?
Потому что честной цифры у нас нет. Измеренной выборки нет, а взять число с потолка — самый простой способ обмануть и клиента, и себя. Когда появятся реальные замеры на реальных документах, мы их назовём вместе с описанием выборки.
Как сравнить два сервиса по точности?
Только на одной и той же своей выборке. Сравнивать заявленные проценты бессмысленно: они получены по разным методикам на разных документах, и сопоставимыми не являются.
Проверьте нас по этим же критериям
Пилот на 30 дней — это и есть тест на ваших документах, только с результатом на руках.
Первый счёт разбираем вручную под ваш формат. Списание разовое, автопродления нет. Источник перехода: seo/vybor/kak-ocenit-tochnost.
Другие материалы о выборе