自社のクイズ150問を検定にかけたら、正解が2番に偏っていた
自社で使っている、中学5教科150問の学習クイズがあります。問題文も正解も一問ずつ確認していました。実際に遊んでも、画面だけではおかしなところに気づきませんでした。
それでも、データとして数えると、学習用の商品として見過ごせない偏りが残っていました。
目で見ているだけでは気づけなかった
確認したのは、正解が四つの選択肢の何番目に置かれているかです。一問ずつ見ていると、選択肢の順番は毎回違って見えます。150問を通した偏りは、問題を解くだけでは見えません。
そこで、正解位置だけを抜き出し、1番から4番までの件数を数えました。
数えたら、2番が65問、4番が9問だった
結果は、2番が65問、4番が9問でした。正解位置が均等なら、ここまで大きな差は想定しにくい分布です。
このままでは、内容を理解していなくても「迷ったら2番」を選ぶだけで当たりやすくなります。学習用のクイズとして、正答が知識以外の手がかりに左右される状態でした。
カイ二乗適合度検定で確かめた
件数の差が偶然の範囲かを確かめるため、カイ二乗適合度検定を使いました。結果は χ² = 43.17、p < 0.000001。偶然では起こらない偏りです。
目で見た印象ではなく、数えた分布と検定の結果がそろったことで、正解位置を直す必要があると判断できました。
直したのは並び順だけ
正解の文字列は一問も変えていません。問題文も解説もそのままです。変えたのは、正解が四つの選択肢のどこへ入るかという並び順だけです。
修正後の件数は 38・38・37・37 になりました。内容を作り直さず、欠陥のある部分だけを直しています。
直したあと、もう一度検定した
修正しただけでは、偏りが消えたとは言えません。同じ方法でもう一度数え、再びカイ二乗適合度検定を行いました。
修正後は χ² = 0.03、p = 0.9989。観測した正解位置の分布はほぼ均等になりました。
直す前と同じ方法で、直したあとも測る。
変更内容の説明ではなく、修正後の分布と検定結果で確かめました。
ついでに、英語の問題文だけ約3倍長いと分かった
同じ問題データから、教科別の問題文の長さも調べました。Kruskal-Wallis検定で H = 77.66、p < 0.000001、効果量 ε² = 0.508（大）。その後の多重比較では、英語が他の4教科すべてより有意に長いと出ました。
中央値は英語が67字、理科が21.5字で約3倍です。スマートフォンの縦画面とゲーム内の吹き出しでは、英語だけ読み切れない理由を、教科ごとの差として確認できました。
自社の商品に使った手順は、預かったデータにも使える
今回したことは、特別な学習ゲーム専用の処理ではありません。データを受け取り、集計し、前提を確かめ、検定を選び、効果量と図をそろえ、何が言えて何が言えないかを書く、という流れです。
同じ手順は、店舗、教室、施策、アンケート、問い合わせ、レビューなどのデータにも使えます。データ分析・統計のページでは、この例を含む5件の分析、使う手法、工程、できないことをまとめています。