「On the Properties of Evaluation Metrics for Finding One Highly Relevant Document」

［論文概要］
　Traditional information retrieval evaluation relies on both precision and recall. However, modern search environments such as the Web, in which recall is either unimportant or immeasurable, require precision-oriented evaluation. In particular, finding one highly relevant document is very important for practical tasks such as known-item search and suspected-item search. This paper compares the properties of five evaluation metrics that are applicable to the task of finding one highly relevant document in terms of the underlying assumptions, how the system rankings produced resemble each other, and discriminative power. We employ two existing methods for comparing the discriminative power of these metrics: The Swap Method proposed by Voorhees and Buckley, and the Bootstrap Sensitivity Method proposed by Sakai. We use four data sets from NTCIR to show that, while P(+)-measure, O-measure and NWRR (Normalised Weighted Reciprocal Rank) are reasonably highly correlated to one another, P(+)-measure and O-measure are more discriminative than NWRR, which in turn is more discriminative than Reciprocal Rank. We therefore conclude that P(+)-measure and O-measure, each modelling a different user behaviour, are the most useful evaluation metrics for the task of finding one highly relevant document.

［推薦理由］
　近年、Web検索のように、検索要求に高く適合する文書が少数であっても簡単に見つかることが望まれる情報検索タスクの重要性が増している。検索技術のレベル向上には、検索方式の優劣の定量評価が不可欠だが、この種のタスクにおける検索品質評価に適した指標が何かという問題に明確に答える研究はなかった。本論文は、この問題に対して最高水準の答えを与えるものであり、著者による新規指標を含む主要指標を、大規模な検索システム評価実験データに基づき、体系的に比較した結果を報告している。確固とした実験に裏づけられた知見には説得力があり、指標評価の方法論の完成度も高く、さらに、各指標のサーベイ面でも情報が豊富である。このように、当該研究分野内外いずれにとっても極めて高い価値を有することから、本論文を論文賞に推薦する。