コメント・トラックバックについて

ところで英語ではこういったテストを high-stakes test と呼んでいます。大多数の大学がそのスコアを提出すべき情報の一つとしていることからアメリカの高校生が受ける SAT を初め、ほとんどがことの性質上、例のベルカーブをベースにした標準テストですが、ここでの stake は元々は博打の賭け金のことですから、「大変なものがかかっているテスト」というほどの意味合いになります。また、テスト実施者（ユーザー）、つまり学校や企業がそのようなテストに基づいて行う学生の振り分けや、卒業資格および大学入学資格の判定、さらには社員の人事考課は high-stakes decisions と呼ばれています。

こういったhigh-stakes decisions は、当然、社会的に大きな関心事と言える訳で、例えば、アメリカの場合、ことの大きさを心配した議会が大頭領の諮問機関の一つである National Research Council を中心とするグループに委嘱し、答申を得ているぐらいです（この結果は、あとでご紹介する High Stakes という本にまとめられています）。また、教育関係の団体や IQテストなどで常に責任論にさらされるアメリカ心理学会などが中心になって、テストを実施する側の心得と言うか、ガイドラインのようなものも打ち出されています。

もちろん、そのアメリカでも、いくらガイドラインを定めたところで、警察がその執行を監督するわけにも行かず、また、場合によっては、裁判所がテスト学界とでも称すべき人々の常識に反する判決を出したりもします。例えば、教員採用試験が足切りに使われることの合理性が争われた事件では、裁判所が、テスト制作業者 (TOEICを制作している業者でもある Educational Testing Service）がそういう目的ではないと証言に立ったのに、かえりみられることがありませんでした。皮肉なものです。

余談ですが、TOEICが「非営利団体」と強調しているTOEICの制作元、 Educational Testing Service は、先述した SATを手がけている他、TOEFLその他の各種標準テストの元締め的存在であり、ビッグビジネスです。そのトップの給料は35万ドル（約4,000万円）、また、年商が６億ドル（600億円強ということですから東証二部上場の審査条件をクリアする水準です）であることが知られています。税法上の定義 としてはそうなのでしょうが、これで非営利団体 (non-profit corporation) とは、おそれいります。

さて、本題ですが、人々の幸・不幸を左右するテストのあり方は一大問題であり、日本国憲法がうたう「個人の尊厳」とも密接に関わります。何をおおげさなことをと思われるかも知れませんが、考えてみれば、英語検定のたぐいのみならずテストというものは一般に強いて人に知られたくない個々人の能力・資質を外部の人間が勝手に探り出して評価するわけですから、個人の尊厳に直結する問題です。ですから、言語テストのプロ集団である、International Language Testing Association の倫理綱領などは、その第一条で、Language testers shall have respect for the humanity and dignity of each of their test takers.（言語テストの実施者は、受験者個々人の人間性と尊厳に対して敬意をもって接することが求められる）とうたっているほどです。

ところが国民性なのか、わが国の場合、誰もTOEICがどういうものであるかを考え、社会人や学生の将来がこんなテスト一つで左右されていいのかと気にする様子がありません。無邪気と言えば無邪気ですが、私に言わせれば危険なことです。特によろしくないのが漫然とTOEICを自社の昇進あるいは海外派遣要員の選定条件にしている企業経営者です。そこへもって、文科省までが英語を担当する教員については TOEICのスコアで730以上は欲しいといったことを言い出しています。見識のなさにはがっかりするばかりです。

今回は、こういった問題意識に立って、 TOEIC を眺め直し、影響力の大きいテストであるがゆえに負っている社会的責任をただしていきます。

なお、念のため申しあげると、別段、私は TOEIC がよくないと言っているわけではありません。学習者が自分の学習進度を測り、あるいは励みとするために利用することはいいことに決まっています。ただ、何となく英語力を判定できそうだということで利用している企業、大学、そして官公庁の意識の低さが気になっているのです。いくらいい道具でも、使い方がわかっていなければ怪我をするに決まっています。TOEICのスコアが高いのに実際には英語を使えない人が増えているという現象に見られるとおり、今や国民全体の英語力にかかわる問題になってきているというのが私の見方なので、余計心配なのです。

まずは一般的に影響力の大きいテスト、いわゆる high-stakes test にはどのような条件が求められるのかを眺めてから、TOEICのオフィシャルサイトで得られる資料に照らして、その条件が満たされているのかをチェックしていこうと思います。

★　影響力の大きいテストに求められる条件

上で紹介した、High Stakes (Heubert, Jay P., and Robert M. Hauser, editors; Committee on Appropriate Test Use 1998. High stakes: testing for tracking, promotion, and graduation. Washington D.C.: National Academy Press) では、テストが適正に利用されるためには、四つのことが重要だとしています。

第一に、テストの妥当性を考える場合は、一般的に妥当であれば、それでよしとしてはならず、個別の用途においてその妥当性をあらためて考える必要があるとしています。したがって単位認定のためにTOEICを使うのであれば、カリキュラム、授業の実際、そして TOEICが一つの整合性のあるプログラムとして運用されることを要するということになり、適当に英語の授業をやる一方、便利な目安としてTOEICを使うようなやり方は問題です。

第二に、常にテストが人間の資質の一部のみを判定するものであるという限界をわきまえておくべきであり、そのテストの信頼性と測定誤差を考えに入れておくべきだとされます。この点、TOEICを導入している広島大学の教官は、TOEICのスコアは確かなものですかという問いに、こう回答されています。

　なにごとにも測定誤差はつきものです。TOEICスコアは，受験者の「真の得点」と測定誤差とを合算したものと考えてください。
　TOEIC Technical Manual において公開されているように，TOEICスコアというのは「約3分の2の確率で，そのスコアからプラスマイナス35点の範囲に真の得点がある」ということを示すものです。詳しい統計学上の説明は避けますが，もちろんプラス1点とプラス5点とプラス10点が同じ確率で起こるわけではなく，誤差が小さい場合の確率の方が高いです。確率論的には，ごく稀に，35点以上(または以下)の誤差も考えられますが，極端に誤差が大きいことはあまり考えられないでしょう。

３回のうち２回当たるというのですから、かなり高い確率です。したがって実際問題としては、TOEICのスコアにはプラスマイナス35の幅があるということです。この点、ETSの2003年版 TOEIC(R) A to Z は、本当のスコアにプラスマイナス25だと言っていますが、35であれ、25であれ、上下にこれだけの幅がありうる以上、海外派遣の資格または英語を教える資格として何点以上といった形で線引きするのは、こういったテストの性格をわきまえていないわけで、乱暴な話です。

この点、『英語のテストはこう作る』（研究社、2003年）で、Arthur Hughes という研究者はこう指摘しています。

ある人の得点がその人にとっての利益となる決定と不利益となる決定を分かつボーダーラインの得点より低かったとする。しかしもし測定標準誤差から見てその人の真の得点がそのボーダーラインと同じもしくはそれより高い可能性が十分ありうるならば、本人にとって重要な不利益となる決定をするには極めて慎重にならねばならない。したがって市販・公刊されているテストは、信頼性係数と測定標準誤差のデータの両方を、ユーザーに対して必ず明らかにしなければならない。

TOEICの場合、 TOEIC のテクニカルマニュアル（英文）で必要な資料が公表されている限度では「信頼性係数と測定標準誤差のデータの両方を、ユーザーに対して必ず明らかにしなければならない」という要請に応えていますが、第一に私の知る限り、これの和訳版はありませんし、第二、後述するとおり、スコアの解釈に必要なことは専門家でなくてもわかるようにすべきなのに、かなり統計の知識があることを前提にしており、実質的にはユーザーに明らかにしているとは言えません。

第三に、受験者にとり大きな影響を与える判断をする場合において、テストのスコアだけに頼るのは避けるべきで、受験者の知識・経験に関する別のデータを加味して判断すべしとされています。

最後に、この High Stakes というレポートでは、判断ミスの原因をどうかするとテストに求める傾向があるが、それは間違っているとしています。しかるべきテストは、そのテスト自体の守備範囲に関しては、有益な情報を提供しているだろうが、そのことと、それをどう利用するかは別問題だと言うのです。報告書をとりまとめた委員会の見るところ、テストの是非をめぐる論議に、テストそれ自体に当てはまらない、次元の異なる視点が持ち込まれていることが多いというのです。

＜つづく＞

次回は、日本言語テスト学会 (JLTA) が試案として公表しているガイドラインに照らして、TOEICの吟味を続ける予定です。

Trackbacks

Trackback URL: 

Comments