Модель и метод оценки качества вклада участника системы совместной разметки изображений

Аннотация

Постановка проблемы: масштабные человеко-машинные системы, посредством сети Интернет вовлекающие в процесс обработки информации сообщества людей, неоднородные по навыкам и уровню мотивации участников, в последнее время находят применение в широком классе приложений. В таких системах актуальной является проблема оценки ожидаемого качества вклада участника (такая оценка может использоваться, например, для отсеивания некомпетентных или небрежных участников и поощрения наиболее аккуратных). Цель: разработка метода оценки ожидаемого качества вклада участника системы совместной разметки, использующего только ненадежные и неполные данные, получаемые от других участников системы (без знания истинных результатов). Результаты: предложена математическая модель системы совместной разметки изображений (включающая модель участника), а также метод оценки ожидаемого качества вклада участника такой системы. Предложенный метод основывается на сопоставлении результатов разметки различных участников на одинаковых изображениях и является модификацией метода попарных сравнений, в которой вместо отношения предпочтения используется характеристика доминирования, определяемая специальным образом (показывающая, какой из участников дает более полные ответы). Оценки ожидаемого качества вклада участников предложено получать как положительный собственный вектор матрицы со значениями попарных характеристик доминирования. В ходе имитационного моделирования процесса совместной разметки показано, что предлагаемый метод действительно позволяет оценить качество вклада участника без использования эталонных результатов (при условии соответствия поведения участника предлагаемой модели). Практическая значимость: полученные результаты могут быть использованы при разработке систем, основанных на использовании скоординированных усилий участников сообщества (и, в первую очередь, систем совместной разметки).