コメント・トラックバックについて

そこで調べてみたところ、 ミシガン州政府が教育関係で使われる統計用語を解説したマニュアル では、「（一次データの変形である）二次データの一種で、スケーリングと称されるプロセスから導かれたもの。換算点は、相異なるレベルや様式のテストを通じて連続性のあるスコアスケール［リスニングの得点は 0 - 30 という得点可能な範囲のこと］にそった得点を示し、異なる受験者グループどうしを直接比較できるようになる。これはテストが実施された年や実施されたテストのレベル、様式に左右されることもない（すなわち時系列で並べて比較するのに適している）こうした換算点は、パーセンタイルランクや評価段階値（grade equivalents）と異なり、刻み値が等間隔となっているので、足したり、引いたり、平均を求めることができる。換算点は、標準得点 (standard score) とも言う」とありました。

受験者の得点つまり一次データをそのまま使えばよさそうなものですが、TOEIC の場合、単純に正答率でスコアを出さないのかと言うと、TOEICの制作業者であるETSみずから、TOEIC(R) From A to Z (2003) の８ページで言うとおり TOEICが norm-referenced test （集団参照基準テスト）だからです。

「相異なるレベルや様式のテストを通じて連続性のあるスコアスケールにそった得点を示し、異なる受験者グループどうしを直接比較する必要があるということです。受験者の成績を比較の対象である別の母集団と比べて、今回受験したこの人の成績を母集団でのランキングに置き換えるための共通の尺度として、換算点が用いられるという理屈です。

もともと集団参照基準テストの場合、受験者の得点分布は正規分布つまりベルカーブを描くように出来ています。 テスト理論の大御所、Lyle F. Bachman が Fundamental Considerations in Language Testing (OUP) で言うように、If the NR test is properly designed, the scores attained will typically be distributed in the shape of a 'normal' bell-shaped curve. （しかるべく作られた集団参照基準テストであれば、テストにおける得点は典型的には「正規分布曲線どおりの」ベルカーブにそくした分布を見せる」のです。それに基づいて受験者をランキングして選別しようというのがこの手の本来の狙いなのであり、ベルカーブの下の横軸にそって、得点の最上位から最下位までを100分割した場合、カーブの一番右側の所にあるスロットより左側には99個のスロットが並ぶことになるわけで、これを利用して、「どちらが上か」を簡単に判定できるようパーセンタイル（100分位数）が用いられます。

その意味でTOEICの成績通知にパーセンタイルが載っていること自体、相対評価による選別タイプのテストである何よりの証拠です。対照的に、運転免許試験のような何ができるか、一定以上の技量があるかをチェックする能力判定テストの場合なら、まるで運転できない人が集まったテストで、君は80パーセンタイルだから合格とするわけにはいきませんから、端的に達成度を示す正解率をパーセンテージで表します。（事実、相対評価での選別を行う、norm-referenced test ではパーセンタイルを使い、試験範囲の事項をマスターしたかをチェックし、能力を判定する、criterion-referenced test ではパーセンテージを使うというのは、テスト関連の資料で両者を見きわめる上のポイントとしてよく出てきます）

現行 TOEIC の毎回の受験者が一体誰と比較されているんだと思われるでしょうが、この点については、TOEICの日本での元締めである財団法人国際ビジネスコミュニケーション協会の広報責任者が 北大のチャップマン先生によるインタービューの中で、次のように明言しています。

TOEIC test scores are reported on a scale which was instituted on the first TOEIC test administration. （TOEICスコアは、初回TOEIC当時に確定されたスケールに則っています）

今回、こういった点数を取っている人は、あの初回のTOEIC当時のスケールで評価すると、このスロットに収まっていたから…と仕分けされるのです。ただ、実際は、正答数がそのまま使われるのではなく、統計学的処理が行われる「ブラックボックス」、しかも内容が公開されていないプロセスを経ているので正確な分類か否かは知るよしもありません。

以上を要するに、TOEIC自体、一定の母集団との対比で毎回の受験者の得点が仕分けされるという norm-referenced test であるため、正答数といった「素点」がそのまま使われるのではなく、統計的な処理によりそれを換算して、母集団でのランキング上、どこに相当するのかをはじきだしているのです。運転免許試験のように受験者本人の能力だけを見てことを決めているのでなく、他との対比で成績が決まるわけで、その意味で、どう見ても「相対評価」です。

★　TOEICは絶対評価だと主張する人たち

以上で見たとおり、制作業者みずから、TOEIC は norm-referenced test であるとし、相対評価型の選別テストであることを認めている上、スコアの算出法の説明の中で、得点が正規分布する、つまりベルカーブを描くことを前提とする標準テストに特有の概念である scale scoreないし scaled scoreを持ち出しているのに、TOEICは絶対評価なのだと見る方々もいらっしゃいます。思うにその原因は、受験者のスコアが各回のテスト内容で乱高下しないようにするために使われている equating という統計技術にあるようです。その点はあとで説明するとして、けっこうおもしろいので、TOEICは絶対評価だ、いや、相対評価だという、この論争をざっと見ておきたいと思います。

そもそもこういう問題が起きるのはTOEICの評価というかスコアの出し方が理解されていないからでしょう。理解されていないと言うか、誰も強いて関心を持たないと言ったほうがいいのかも知れません。私の知っている受験経験者たちも、単純に最終的な数字で一喜一憂しているだけで、正解した数とスコアの関係などどうでもいいようです。

それはともかく、TOEIC受験界の権威である中田達也さんに「勘違い」と怒られている 「TOEICスコアは偏差値？’は、こう説明しています。

一番多い勘違いが "1問5点" という勘違いです。TOEICにはリスニングセクション、リーディングセクションそれぞれ100問ずつあり、満点が495点。さらに5点刻みということで "1問5点"と勘違いする方が多いのです。そこでよく"なんで500点満点じゃないんですか？　それとも99問正解なら満点ということですか？"という質問をよく受けます。

次に多い勘違いが"パート１は1問3点、パート４は1問7点"というように難易度によって配点があるという勘違いです。これも間違えで、パート１の1問もパート４の1問も価値は同じなんです（少なくともそういうことになっています）。

実はTOEICの点数は1問何点という方式ではないんです。"TOEICの点数は偏差値みたいなもの"と考えると分かりやすいと思います。

この記事（中田さんはACEと呼んでいます）につき、中田達也さんは、 「TOEICスコアは偏差値のようなものって本当?」という記事で、「ACEやダン上野氏のHP」などいくつかのインターネットの英語学習サイトでは、TOEICのスコアは偏差値のようなものですといった解説をしているものがあるようで、例えば、ACEの作者によれば、TOEICのスコアに関しては『勘違い』している人が多いということですが、悲しいことに、『TOEICのスコアは偏差値のようなもの』というそのサイトの解説自体が『勘違い』です」と厳しい批判を加えています。

この中田さんは、以下のような表を引き合いに出して、あるスコアの人は次に受けても実力が同じである限りスコアの水準は変わらないから、その意味で、 TOEICスコアは「絶対評価」と断言されています。ここまで思い切ったことを言えるからこそ、TOEIC受験界で信奉者が多いのだと改めて感心します。

それはともかく、おっしゃるには、「一方で、『絶対評価』の指標の1つであるTOEICスコアは、受験者がどのくらいの英語力を持っているかを示」すのであり、「自分以外の受験者のレベルが高いと平均点が高くなり、自分以外の受験者のレベルが低いと平均点が低くなるが、自分以外の受験者のレベルが高くても・低くても、点数のとりやすさは変わりません」とのこと。言い換えれば、各回の具体的テストの難易度に拘らず、スコアが600レベルの人であれば、次回のテストが難しく、他の人の出来が悪くても、逆に、やさしくて、他の人の出来がやたらよくても、実力が変わらない以上、600は600だとおっしゃっていると解されます。

860〜990は「Non-Nativeとして十分なコミュニケーションができる」レベル
730〜860は「どんな状況でも適切なコミュニケーションができる素地を備えている」レベル
470〜725は「日常生活のニーズに充足し、限定された範囲では業務上のコミュニケーションができる」レベル
220〜465は 「通常会話で最低限のコミュニケーションができる」レベルです。
10〜220は「コミュニケーションができるまでに至っていない」レベルです。

そして、この記事では、TOEICスコアと偏差値とは違うんだよと例を出しながら説明した上、「600点のレベルに達している学習者が受験すれば、周りの受験者の実力には係わらず、常に600点というスコアが得られます。言い換えれば、TOEICのスコアは偏差値ではなく、受験者がどのくらいの英語力を持っているかを示す『能力値』です」という論法で、TOEICスコアは相対評価ではなく、絶対評価に基づくものだと説明されています。要するに、偏差値とは違うんだという点、受験者本人の実力が変わらない限り、スコアも変わらないようになっているという点の二つをもって、TOEICは絶対評価だと論じてらっしゃるわけです。

なるほど偏差値は相対評価の一つのやり方でしょうが、偏差値とは違うんだ、だからTOEICは絶対評価だというのは飛躍があると感じます。相対評価によるテストのすべてが偏差値方式で成績を示すわけではないからです。また、スコアが一定となるよう仕組まれているというのは、毎回の具体的テスト内容が違っていても、統計技術を用いて実質的に同じテストを受けているのと変わらないようにし、スコアの一貫性を確保しているだけの話で、これも絶対評価か、相対評価かの問題とは次元の違う話です。あとで見るとおり、ある回のテストが前回より難しいか、易しいかでスコアが変化しないようにし、比べられるようにしているだけで、これは絶対評価であれ、相対評価であれ、どちらの形式のテストでも使われうる「技術」です。

長くなってきたので、今回はこのぐらいにし、次回、TOEICスコアを確定する三つの要素、素点、換算点、そして equating のうちの最後、「スコアの同一化」とか「標準化」あるいは「得点等化」と訳される、この equating がどういうものかを見てからひとまず話を終えたいと思います。

［つづく］

・
・
・

人気ブログランキングに参加しておりますので、このリンクをクリックすることで一票入れてくださると、うれしい限りです。深夜零時に再スタートするしくみなので、前回、投票してくださった方も、新たな一票をお願いします。どうぞよろしくお願いします。人気blogランキングへ

Trackbacks

Trackback URL: 

Comments