コメント・トラックバックについて

この「波及効果」につき、Hughes は本の最初の方で、こう言っています。「テストが指導および学習に及ぼす影響のことを波及効果 (washback) と呼ぶ。［中略］あるテストが重要だと見なされていれば、また結果による利害得失が重大であれば、当該テストのための準備があらゆる指導・学習活動を支配することになる。そして、当該テストの内容と形式が授業の目標とずれている場合には、有害な波及効果が生まれるだろう。例えば、ライティング技能が多肢選択式でしかテストされなければ、生徒はライティング自体よりテスト問題を解く練習をせざるを得なくなろう。これは明らかに望ましくない」

これはわが国で実際に起きている現象でもあります。大学で単位認定にTOEICやTOEFLを使っているケースがあるわけで、例えば、TOEICで何点以上取らないと進級させないという具合にです。この結果、学生はTOEICの過去問ばかりを勉強してスコアを引き上げようとし、その一方、TOEIC対策の専門家が優秀なこともあって、スコアは上がるものです。ところが、もともとTOEICはTOEICの受験者どうしの成績を比べ合う、言わばTOEIC受験界でのランキングのためのテストで、英語ができるか否かを直接測定するテストではありませんから、TOEIC専門の勉強を一所懸命やるとかえって実際に必要な英語の世界から遠ざかるという皮肉な結果を生んでもいるのです。

（６）不正行為が容易である

多肢選択テストでの応答は単純な記号なので、言葉を使わず解答情報をやりとりすることが簡単だ。

先般、韓国で大騒ぎとなったTOEICでの カンニング事件、あるいは、わが国のセンター入試に当たる５者択一形式の試験での カンニングなど、いずれも択一形式であることがカンニングを誘ったと言えそうです。

★　択一テストとしてのTOEIC

TOEICは現在のところ全問が択一形式というテストですが、このことに着目して、Timothy M. Nail という研究者は、TOEIC: A Discussion and Analysisというペーパーで、TOEICは「コミュニケーション能力を測る」とされているが、果たして、マークシートを使った択一テストでこうした能力を測れるものだろうかと疑問を投げかけています。そして結論として、択一形式のテストでコミュニケーション能力を評価しようという場合、「信頼性」(reliability) は高いかも知れないが、「妥当性」(validity) においては低いというのが多くの研究者の見方だとしています。

ここで「信頼性」とは何ぞやと気になりますが、Arthur Hughes の『英語のテストはこう作る』での説明はこうです。

テストが一貫した結果を出す（例えば、月曜と火曜とで能力の変化がないという前提で、同一人物が同一テストをたまたま月曜の朝に受けても火曜の午後に受けても、結果が非常に似通っている）ならばそのテストは信頼性がある、という。

たしかにTOEICを受けている人の成績がある回と次の回とで劇的に違うといった話はききません。むしろ、スコアが安定していることを指して、TOEICは絶対評価だと論じる人々がいるぐらいですから、なるほどTOEICはスコアが妙にぶれたりはしないという意味では「信頼性」の高いテストだと言えそうです。

次に「妥当性」とは何ぞやですが、前掲書は、こう説明しています。

テストがその意図の通りのものを正確に測定しているとき「そのテストは妥当だ」と表現する。

つまり、コミュニケーション能力を測ると称しているテストがきちんとこの種の能力を測定できていれば、「妥当性が高い」と言え、逆に、きちんと測定できないのであれば、「妥当性が低い」ということです。

してみると、冒頭の「一般に択一形式のテストでコミュニケーション能力を評価しようという場合、『信頼性』(reliability) は高いかも知れないが、『妥当性』(validity) においては低いというのが多くの研究者の見方」というくだりは、「択一形式によるコミュニケーション能力のテスト（例えばTOEIC）は、スコアが安定しているという意味では信頼できるが、コミュニケーション能力を測定する上で難があり、妥当性が低い」と読み替えることができます。端的に言えば、「コミュニケーション能力を測定すると称してはいるが、実際にはそこまで行っていない」ということです。

現に、この Nail のペーパーは、Daviesの研究を引用して、コミュニケーションというものは、「双方向的なものであり…予想がつくものではなく…コンテクストに依存しており…目的に合わせて変化するものであり…人の行動にも依存している」のであり、そうである以上、択一形式による測定になじまず、テストとしての妥当性も低くなると論じています。

加えて、Nail は、Cuningham が「実生活での人間のやりとりというのは、択一形式ではない。択一形式の問題は、受験者に言語運用能力の実証を求めたりせず、また、言語を実際に運用させるものでもない」と述べている点を引いて、やはり択一問題は妥当性が低いとしています。

考えてみれば、専門家にいちいち言われなくても、われわれ普通の人間はTOEIC界の人々が描く世界と異なり、マークシートの交換をして会話したり、メールを送っているわけではない以上、いくら択一テストの達人になったところで、コミュニケーション能力が高まるはずがありません。

Nail の報告は、TOEICの妥当性は、TOEIC対策の普及がその足をひっぱる結果をまねいている（受験対策が行き渡るとスコアの表すものが受験技術をどれだけ身につけているかになってしまうということで、例の「波及効果」と表裏一体をなす問題です）という興味深い観察でしめくくってから、テスト自体の採点や事務処理手続の容易さ、高い費用対効果比、社会への浸透ぶり、そして、それに伴い、採用する方も実施する方もともにテストの社会的評価を高めた方が有利と考える性向という要素があるところに、取って代わるべき実際的なテストとして他に見るべきものがないという実情があり、当面、TOEICブームが収束することはなさそうだと結んでいます。

Neil が引用している資料の出所：　Cunningham, C. (2002). The TOEIC test and Communicative Competence: Do Test Score Gains Correlate With Increased Competence? www.cels.bham.ac.uk/resources/essays/Cunndiss.pdf　Davies, A. (2003). "Three heresies of language testing research." Language Testing 20 (4), 355-368.

★　さいごに

TOEICやTOEFLを初めとする英語検定のみならず、何とか技術者試験といった様々な資格試験でもこういった択一が幅を利かせています。受験する方としては抵抗のしようもない話ですが、こういった限界が専門家の間では周知の事実である点は知っておく価値があると思います。

特に、TOEICのように大学での単位認定あるいは就職やその後の昇進などをも左右する high-stakes test と称される影響力の大きいテストが択一ベースであることを考えると、こういったテストを利用して学生や社員の能力を測ろうとし、あるいは文科省のように英語教員の目標値として使おうとする人々については、その認識が問われることになります。ひと様の人生を左右するような重大なテストにどういった問題があるかを調べもしないまま、自分のところの学生や社員に半強制的にそのテストを受けさせるということがあっていいものでしょうか。インフォームドコンセントではありませんが、最低限、こういった問題点があるけれど、他面、こういったメリットがあるので、是非、力を入れて勉強してくださいぐらいの説明があってもよさそうですが、そんな話は聞いたことがありません。

結局、押し付ける方も押し付けられる方もそのテストの正体も確かめないまま、ただスコアが出るというだけで、各種の択一テストが独り歩きしている感じです。みなさん、オトナなのか、無知なのか、あるいは無関心なのかと、ただただ不思議です。

関連記事のご案内
TOEICに関しては、過去に何本か記事を書いております。よろしかったら こちらにあるバックナンバーをご覧ください。

・
・
・

人気ブログランキングに参加しております。よろしかったら、このリンクをクリックして一票入れてください。どうぞよろしくお願いします。人気blogランキングへ

Trackbacks

Trackback URL: 

Comments