2008年8月18日
TOEICスコアの読み方：前回との点差が70なければ「進歩ナシ」とするTOEICサイドの公式見解
よく学生にビジネス英語の教科書の言い回しを暗記したおかげでTOEICのスコアが何点アップしましたなどと報告を受けたりするのですが、自分では格別TOEICを意識しながら授業を進めているわけではなく、ちょっと不思議な気がします。
しかし、TOEIC Blitz Blogで有名な神崎正哉先生は、ビジネス英語物はTOEICに通ずるとされており、実際、「コロケーション重視の語彙学習書で、TOEICを目指して学習している人にお薦め。しかも208のキーワードはほぼ全てTOEICの頻出語彙。ビジネスでよく使う語とTOEICでよく出る語は重なっている」という見地から『仕事の英語 この単語はこう使う』（桐原書店）を、また「これをしっかりやったら英語の実力がつく。TOEICのパート３＆４なんて楽勝」ということで「即戦力がつくビジネス英会話」(DHC) をほめてくださっています。ありがたいことです。改めてお礼申しあげます。
いずれにしろ、こういったTOEICとの相性（？）がいい教科書を授業で使っていることの、いわば副産物として受講している学生のTOEICスコアも伸びるようです。
とは言っても、同じスコアアップでも100点とか200点ならまだしも、うれしそうに「50 点アップしました」などと報告する学生に対しては、「前回との点差が 70 点はないと誤差の範囲内でしかなく、実力が上がったとは言えない」と教えてあげています。もちろん、私が勝手な数字を言っているのではなく、TOEICを制作している本家本元 (ETS) がそう言っているのです。
TOEIC（と言っても日本での代理店）のオフィシャルサイトでは、
このスコアは、常に評価基準を一定に保つために統計処理が行われ、能力に変化がない限りスコアも一定に保たれている点が大きな特長です
と言っており、実施回が違っていても、問題のバージョンが違っていても中身はそろうよう調整してあるという立場を取っているので、10点、20点程度のスコアアップでも、何か前進したような気になるのが人情です。
しかし、本当にTOEIC（ジャパン）が言うように、実施回が違っても統計上の処理により質的な同一性が保たれているなら、TOEIC テストの毎回の平均点を10回分並べた場合、ほぼ横一線にそろうはずです。ところが、実際は、以下のグラフが示すとおり、かなりのばらつきがあります。（各回の平均点はTOEICの公式データをもとにしています）
このあたりの事情を「香川大学におけるTOEICテストの分析」というレポート（以下「香川大学の資料」）は、「［TOEICの日本の代理店は］受験回ごと、即ち問題のバージョン間の難易差を日本では認めていない。しかし、人間の作るテストであるから、そのような理想的な問題を作ることは不可能である。項目分析を行い弁別力の弱い問題（殆ど全員が正答してしまう枝問等）を採点から外したり、分布の平滑化を行ってもどうしても問題の難易差は残るはずである」と指摘しています。
それでは、このように単純に前回のスコアとの対比で実力の向上を語れないとすれば、どうしたらいいのでしょう。つまり、ほとんどの受験者がそうであるように、複数回のTOEICを受験している場合に、何点以上スコアが上昇すれば統計上有意な差と言え、したがって、学習の成果が表れたと言えるのかという問題です。
TOEICの制作業者であるETSは正面からこの問題に答えており、リーディング、リスニングの各部門で前回との点差が 35は必要だとし、それに満たないのは「まぐれ」の範囲だとしています。同社が出しているTOEIC Examinee Handbookでは、以下のとおり、ある回のリスニングのスコアが300点だったという人が一定のトレーニングを経て、次回が340点だったというケースを想定して、以下のように説明しています。
To determine whether this was a true increase in the TOEIC score, the test taker would construct a band of 1 SEdiff, or 35 points, around the obtained scores. In this case, the test taker has truly improved because the post-training score fell outside of the SEdiff (i.e., 265-335). TOEICスコアが本当に伸びたのかを判定するため、受験者は実際のスコアにプラスマイナス１標準誤差すなわち35ポイントを加えるわけだが、この場合、受験者の実力は上がったと認められる。と言うのもトレーニング後のスコアが標準誤差の範囲（265-335）を超えたところにあるからだ。
要するに本当にリスニングの力が上がったのか、あるいは単なる偶然なのかを判定するためには、「差の標準誤差」(standard error of difference) の外にあるかを見るべきであり、300プラスマイナス35なら進歩なしだけれど、ここでは 340 と、点差が35を上回っているから、これは統計上有意な差、つまり学習効果があったと言えるとしています。
このことを香川大学同様、TOEICを大学での英語教育に取り込んでいる広島大学の前田先生は、「TOEICについて−−屁理屈をこねます」という学生のためのTOEIC FAQで、「ＴＯＥＩＣのスコアは確かなものですか？」という問いに答える形でこう説明されています。
そんなわけはありません。なにごとにも測定誤差はつきものです。TOEICスコアは，受験者の「真の得点」と測定誤差とを合算したものと考えてください。
TOEIC Technical Manual (http://www.toeic.com/pdfs/TOEIC_Tech_Man.pdf)において公開されているように，TOEICスコアというのは「約3分の2の確率で，そのスコアからプラスマイナス35点の範囲に真の得点がある」ということを示すものです。［以下省略］
この点、香川大学の資料も端的に
例えば、2005年７月のリスニングとリーディングの合計スコアが300点、12月では370点だった学生は67%程度の確率で英語力が伸びたと言える
と明言しています。前回との点差は合計スコアで70点なければ駄目なのです。
以上を要するに、TOEICでのスコアアップを勉強の目安として使い、力がついたかを判定するには、部門別では35点、合計では70点の点差が必要だということです。70点に行かないような点差は統計的には「まぐれ当たり」の範囲内でしかなく、従ってそんなことで一喜一憂すべきではないとも言えます。
追記：心理統計がご専門の方から、35点以上のスコアアップでも評価に値しないわけではなく、70まで行かず50点どまりの人であっても、引き続き頑張って、より確かな結果を目指しなさいと言ってあげてしかるべきだとのご助言を頂戴しました。
自分でも呑み込めるよう、頂戴したメッセージを少々自分の言葉で置き換えながら引用させていただくと、こういうことです。
「真のスコアは、得られたスコアとの比較において、得られたスコアに近い値である確率の方が高いものの、得られたスコアが±70点以内に存在する確率は約95%、また得られたスコアが±35点以内に存在する確率は約68%です。そこで、前回との点差が70点を超えるなら、それは大変珍しい現象だと考えられるので、実質的に英語力が向上したと言えるでしょう。一方、35点をやっと超える程度にとどまっている場合は、それはあまり珍しいと言える現象ではないかも知れず、実質的に英語力が向上したとは言えないとも解されるので、もっとスコアを上げて、向上を実感できるよう確実を期することです」
前回に比べて10点や20点ぐらいの場合、それでどうのとは言いにくいのに対して、点差が前回と比べて35点以上あれば、手応えはあったと見ていいのではないかとされているわけで、TOEICサイドの受け売りで 70 は超えないと駄目だとする私の見方はちょっと厳しいのかなと反省させられました。
結局、TOEICの公式見解では、プラス70は必要だけれど、プラス35でも捨てたものじゃないから頑張れ！と言えそうです。
人気ブログランキングが励みになっていますので、一票、どうぞよろしくお願いします。人気blogランキングに一票
- ［TOEICのはなし］
- Comments (0)
- Trackbacks (0)
Trackbacks
Trackback URL: