ブラインド査読とユーザ評価

(2020/6/28)

ユーザインタフェース系の論文の査読において、最近の学会では必ず「ユーザ評価」が要求される。ユーザ(被験者)が多いほど評価の信頼性は高くなるだろうが、ユーザが多いとブラインド査読が不可能になる。

あるサービスが何年もにわたって1000万人に利用されている場合、そのサービスの特徴や有用性についての調査結果は信頼できると考えられるが、そういう大規模サービスについて誰が作ったものかを隠すことは不可能だから、そのサービスに関する論文をブラインド査読することはできないだろう。一方、ユーザインタフェースの一般的な論文では、20人ぐらいのユーザで1ヵ月調べた程度のものが多いのだが、そんな調査が信頼できるわけはない。最低でも、1年以上にわたって1万人以上のユーザに利用させた結果ぐらいでないとユーザ評価を記述する意味は無いと思う。

ユーザインタフェース関連の論文の査読では、「ブラインド査読をあきらめる」か「査読でユーザ評価を要求しない」といった措置が必要だと思う。

#ブログ 2020/6/28