Личный кабинет
Подробное описание документа
Соловьев А. А.
Взвешенная погрешность — новая метрика для оценки качества валидации ответов в задаче вопросно-ответного поиска / Соловьев А. А. // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. - 2013. - № 1. -
Скачать документ
Рассмотрена подзадача валидации ответов в задаче вопросно-ответного поиска. Традиционными метриками качества на семинарах TAC-RTE и CLEF-AVE являются аккуратность (accuracy) и F-мера. По результатам участия в семинаре РОМИП-2010 отмечено, что число ложных ответов-гипотез, которые должен отклонить модуль валидации ответов, часто значительно превышает число верных ответов. Предложена новая метрика — взвешенная погрешность, которая чаще штрафует систему за ошибки первого рода (пользователю показан неверный ответ — falsepositive), чем за ошибки второго рода (правильный ответ отвергнут и пользователю не показан — falsenegative). В отличие от F-меры она также поощряет систему за верно отфильтрованный ответ (truenegative).
004.912 Обработка текста. Подготовка текстов
Статья опубликована в следующих изданиях
№ 1. - 2013.
