Andrii Dumyn

Оцінювання якості тексту є ключовим чинником для забезпечення надійності та ефективності систем штучного інтелекту, що працюють із текстовими даними. У таких напрямах, як автоматичне розпізнавання мовлення, оптичне розпізнавання символів та обробка природної мови, воно має фундаментальне значення для вимірювання результативності роботи системи. У випадку ASR оцінка показує, наскільки точно усне мовлення перетворюється на текст, а в OCR наскільки правильно текст відтворюється із зображень. У завданнях NLP, пов’язаних із генерацією чи обробкою тексту, вона дає змогу визначити коректність і логічну узгодженість отриманого результату. Традиційні метрики WER та CER мають низку суттєвих обмежень, що знижує їхню придатність для комплексної оцінки якості тексту. Вони вимірюють лише лексичну точність, не враховуючи семантичну подібність чи контекст, унаслідок чого однаково штрафуються як незначні орфографічні помилки, так і помилки, що докорінно змінюють зміст висловлювання. Базований на відстані Левенштейна алгоритм надає однакову вагу всім типам редагувань, не розрізняючи між критичними та другорядними похибками. Крім того, ці метрики фіксують сам факт помилки, але не надають інформації про її характер. Стандартні процедури нормалізації для WER та CER часто ігнорують пунктуацію та регістр, що знижує увагу до аспектів читабельності та стилістичної коректності. Робота представляє гібридну метрику оцінки якості тексту під назвою WELER, розроблену для подолання обмежень традиційних метрик, таких як частота помилок у словах та частота помилок у символах. WELER поєднує зважені WER і CER із семантичною помилкою, яка використовує контекстуальні вбудовування для оцінки збереження значення тексту. Метрика дозволяє налаштовувати вагові коефіцієнти вручну або автоматично за допомогою методу аналізу головних компонент, адаптуючи її для різних завдань, таких як автоматичне розпізнавання мовлення, обробка природної мови та оптичне розпізнавання символів. Це робить WELER більш гнучким і точним інструментом для оцінки якості тексту в системах штучного інтелекту. Виклики впровадження WELER включають обчислювальну складність, необхідність ретельного визначення оптимальних вагових коефіцієнтів, часто через кореляцію з людською оцінкою та статистичні методи, як PCA, та залежність від високоякісних еталонних даних.