ありそうでなかった学習と記憶のデータ

Monoxer Advent Calendar 2023 13日目です。

ごあいさつ

こんにちは。モノグサ株式会社の大橋です。以前の記事でも自己紹介しましたが、現在ソフトウェアエンジニアとしてデータ基盤の構築からデータ解析まで、データと名のつくことは何でもやっています。

この記事を読まれる皆さんの多くは日本の学校を卒業されたかと思いますが、学校での勉強というとどういうものを思い浮かべるでしょうか？　自分はなんだか問題集やプリントをたくさん解かされていたような気がします。

ところで、学校では日々大量の問題演習が行われる割にその効果検証を科学的に行っているという話はあまり聞きません。解いて丸付けしたデータが文字通り捨てられているのです。モノグサはデジタルツールの強みを活かし、創業以来蓄積された38億問以上の採点結果が全て保存されています。今回はこの「ありそうでなかった」データを集計して反復練習の効果について調べてみます。

反復と正解率の関係

単語問題の各回答について、同じ学習者が同じ問題を前に解いた回数を計算し、回数の小さい順に正解率を計算してプロットしたもの。1番左が初見正解率、次が2回目の正解率……

反復して覚えられるというなら、前に同じ問題を解いた回数が多ければ多いほど正解率が高いはずです。このグラフはその仮説を検証するものですが、10回前後までは順調に正解率の上昇が見られるもののそれ以降低下しています。これは反復練習の無意味さを意味するのでしょうか？

未検証ではありますが、私の仮説では正解率が反復効果だけでなく単語の覚えやすさにも依存していることが原因なのではないかと思っています。Monoxerで学習を続けると記憶済みになったものはほとんど出題されず、なかなか覚えられない覚えにくい単語だけが繰り返し出題されるようになります。すると、反復回数が多いことはその単語が覚えにくいことを暗示し、結果として正解率が下がってしまうのです。

1つの問題に固定してこのグラフをプロットすればこの仮説が検証できると思いますが、今回はアドベントカレンダーなので割愛します。気になる人は入社してね！　（右肩上がりのグラフが出てくると思っていたので深掘りする作業時間を用意してませんでした……）

接触間隔と正解率の関係

やらないと忘れるという話も調べてみました。これについては、前に同じ問題を解いてからの経過時間が長いほど正解率が低下するという仮説を立てて検証しました。ディクテーション問題（中難易度の出題形式）の各回答について、同じ学習者が同じ問題を前に解いてからの経過時間を計算し、経過時間の小さい順に20等分。それぞれのグループについて正解率を計算し、左から並べたもの。

上のグラフからわかる通り、経過時間が伸びるほどきれいに正解率が低下しています。この関係はディクテーションだけでなく単語入力や選択問題の形式でも観察されました。1番右（経過時間が最も長い群）の平均経過時間は1ヶ月程度なのですが、2番目に左（平均経過時間11.5秒）の3分の1以下の正解率になっています。

最も左の群の正解率がなぜ低いかは分かりませんが（データ不備でしょうか）、それ以外については予想以上にきれいな減少傾向が見られ、人間は忘れちゃうんだなあという事実を思い知らされます。

ほんとうはこの1番右の群がどういう分布になっていて、この群にいながら正解できる人にはどういう特徴が出るか調べたいのですが（これこそが長期記憶に他ならないのですから！）これも時間の関係で割愛です。やりたい人は入社してください！

エビデンスに基づいた学習体験を作りたい

反復回数や接触間隔が正解率に影響するという直感的には明らかな事実も、実際に裏付けられると今までより自信を持って反復練習を勧められるようになったのではないでしょうか。世の中には根拠が怪しかったり賛否が真っ二つに分かれるような教授法もたまにありますが、モノグサではエビデンスに基づいた学習体験を作ってみなさまにお届けしたいと思っています。