コメント・トラックバックについて

1. The test developer's understanding of just what the test, and each sub-part of it, is supposed to measure (its construct) must be clearly stated.（テスト制作者がどのような理解に立って、何を測定するものとして−−何を構成概念として−−そのテストの全部または一部を制作したのかを明示することを要する。）

ここで言う、構成概念＝construct は、テスト理論の世界では、構成概念の妥当性＝ construct validity という形で、いわばテストの「キモ」として頻出する概念なのに、私自身、なかなか正体がつかめず、すっきりしなかったのですが、Lyle F. Bachman の Fundmental Considerations in Language Teaching (Oxford University Press) を読んでいたら、解答がありました。

まず、Messick という研究者によると、何かを測定するということは、ある人がどの程度あるものを外部的に発現し、または備えているかを推計しようというのであり、構成概念との関係で基本的に問題となるのは、その「あるもの」がどのような性質を持っているかだとされます。

このことを踏まえた上で、Bachman は、テストを実施する方としては、測定しようという「あるもの」が何であるかをこれと決め、その性質・内容を確定する必要があり、それを経て初めて構成概念が決まると説明しています。要するに、そのテストをもって捕捉しようという能力が「構成概念」であり、そのテストでの測定対象とされるものがきちんと測定されていることをもって構成概念の妥当性ありとするのだという理屈でした。

TOEICのオフィシャルサイトでは、冒頭の一文で、「英語によるコミュニケーション能力を幅広く評価する世界共通のテスト」とうたっています［注］から、果たしてコミュニケーション能力をきちんと測定できているのかが鍵を握ります。この問題につき、北海道大学の Mark Chapman は、 The role of the TOEIC in a major Japanese companyと題したペーパーにおいて、自分の調査によると果たしてコミュニケーション能力を測定していると言えるか疑問だとしています。英語を読んだり、聴き取る能力を判定するとうたうならともかく、TOEICのスコアだけを見て、英語でのコミュニケーション能力を判定するというのは、TOEICの使いかたとして間違っていると言った方がいいという判断なのです。

［注記　これは私の理解を超えることなので、ただ報告するにとどめ、判断はみなさんにお任せしますが、本国の www.ets.org にある FAQ 中、What does the test measure?（このテストは何を測るのでしょうか？）　という問いに対する回答は、The TOEIC test is a benchmark of English language skills in listening and reading.（TOEICは、リスニングとリーディング面での英語力の指標です）となっており、日本語の公式サイトで言っている、「TOEICは英語のコミュニケーション能力を評価する」という話とは大きく食い違っています。］

2. All tests, regardless of their purpose or use, must be valid and reliable to the degree necessary to allow the decisions based on their results to be fair to the test takers.（すべてテストは、その目的・用途の如何に関わらず、テスト結果に基づいてくだされる判断が受験者にとり公正であることを担保できるような妥当性と信頼性を備えていなければならない）

テストの結果から導ける判断が正確なものであるとき、そのテストは妥当性があると認められます。そして、その妥当性自体、そのテストが測定しようとしているものを過不足なく的確に捕捉しているかにかかっています。そうとすれば、英語によるコミュニケーション能力を測定対象にしていると明言する以上は、何をもってコミュニケーション能力とするのかを予め明らかにしておく必要があります。しかし、（私の見方がいけないのかも知れませんが、）オフィシャルサイトのどこにも、「コミュニケーション能力とはかくかくしかじかであり、われわれのテストは受験者のこうした能力を測定するものだ」という記述がありません。腑に落ちません。

★　テスト実施者が守るべき６つのポイント

次のステップとして、このモノサシは、商業ベースで利用できるようになっているテストについて、テストを実施する側（TOEICを自分たちのために利用する企業や大学、あるいは教員の資格要件にスコア730以上を求める文科省を含みます）は以下の６つの事項を守るべきだとしています。順次見て行き、www.toeic.or.jp で入手できる資料と照らし合わせてみると、こうなります。

1. Make a clear statement as to what groups the test is appropriate for and for which groups it is not appropriate.（どういったグループにそのテストが適しているか、また、どのグループが適していないかを明確にしておくこと）

オフィシャルサイトを見る限り、活用実態の報告はあっても、グループ別の向き、不向きに言及している部分はありません。不合格です。

2. Make a clear statement of the construct the test is designed to measure in terms a layperson can understand.（一般の人がわかるような表現で、そのテストが測定しようとしているテスト対象がどういうものであるかを明確にしておくこと）

測定しようという能力が「コミュニケーション能力」であることは明言しており、普通の人にもわかる言い方ではありますが、文面としては「コミュニケーション能力」ということを言っていても、上で述べたとおり、それがどのようなものであるのか説明していません。これではテストが判定しようとしている能力つまり「構成概念」が明らかだとは言えませんから、不合格と言わざるを得ません。

3. Publish validity and reliability estimates for the test along with sufficient explanation to allow potential users to decide if the test is suitable in their situation.（テストの利用を考えている人々が自分たちのニーズに適しているかを判断できる形で、そのテストに関する妥当性および信頼性ならびに関連の補足説明を公表すること）

サイトを見ると、Data & Analysis という項目を設け、平均スコアや標準偏差、あるいは職種別の平均といった細かなデータを公表している一方、妥当性や信頼性を判断できるような事項はぱっと見たところ見つからないので、合格とも不合格とも言えません。△　ということでしょうか。

4. Report the results in a form that will allow the test users to draw correct inferences from them and make them difficult to misinterpret.（そのテストを利用する人々がテスト結果に基づいて的確な推論ができる形式で、しかも、誤解がおきにくいような形式で結果を報告すること）

これも △ でしょう。成績通知においてパーセンテージではなく、パーセンタイルを使っていることからわかるとおり、norm-referenced test（集団参照基準型テスト）であるのに、その説明が不十分であることから、（一部事情通を除いて）受験者の間では、一般に、990点が、正答率100%を意味する「満点」と受け止められ、通説化しているように思われます。

5. Refrain from making any false or misleading claims about the test.（そのテストにつき、事実と異なるか、または、誤解を生じさせるようなことはうたうべきでない）

コミュニケーション能力を測る試験といううたい文句に問題があることは既に述べました。これに加え、リスニングとリーディングだけでスピーキングとライティングの能力まで推計できることが統計的に証明されているというTOEICの宣伝文句は専門家に疑問視されています。 Correlations between active skill and passive skill test scores　という、全国語学教育学会で発表されたペーパーを見ると、熟達度の低いグループを対象にTOEICのスコアと別途実施したスピーキング能力のテスト結果とを対比すると、TOEICの制作元であるEducational Testing Service (ETS) が発表している相関係数より低く、また、TOEICのスコアと別途実施されたライティング能力のテスト結果とを対比した実験でも、概ね ETS が言うほどには相関係数は高くないとのことです。

ことのついでに言えば、もう二つ気になります。第一に、世の中、TOEICはビジネス英語のテストと思い込んでいる人が多いものの、これは間違いです。例えば、TOEICにおけるビジネス英語のウェイトにつき、オーストラリアのLatrobe 大学のウェブサイトにある、 TOEIC ガイドを見ると、TOEIC does not test business English to the extent that any specialised business or technical vocabulary is required. （TOEICは、別段、ビジネスや技術関係特有の単語を知っておく必要があるとまでは言えず、その意味でビジネス英語を試すテストではありません）と説明しています。そうであるのに、こういった人々の誤解を敢えて是正しようともしないのは、いわば不作為による誇大広告とも言え、感心しません。

第二に、オフィシャルサイトを見ると、何か世界的に有名な権威ある英語検定であるかのような書き方ですが、これも事実に反します。厳しい見方をする向きは、TOEIC受験界でも有名な中田さんのように、 「TOEICがメジャーであるのは日韓両国だけ」と、ばっさり否定し、続けて、「受験者の実に10分の9以上を日本人と韓国人が占めているような試験を、果たして本当に英語力を測る『グローバル・スタンダード』と言えるのでしょうか？」と、とどめを刺しています。

ちなみに、TOEICサイドみずから Report on Test Takers Worldwideというレポートでで、総受験者中、日本勢と韓国勢が81%を占めているという数字を公表しています。

一方、中田さんほど厳しくない、中立的な立場の見方もそうは変わりません。 ニュージーランドの語学教師の団体 (TESOLANZ) のサイトを見ても、TOEICにつき、主として日本と韓国の大手企業が社内での英語検定として利用しているテストで、最近ではヨーロッパでの食い込みが目を引くといった程度の評価で終わっています。結局、第三者から見ると、アジアの一角で行われているマイナーな英語検定でしかないということです。

「世界的なテスト」だと胸を張りたい気持ちはわかりますが、見る人が見ればわかることですし、新聞にTOEICの運営団体みずから「世界基準、TOEIC」という広告など出すべきではありません。少なくとも日本国内では押しも押されもしない存在なのですから、そんなつまらない誇大宣伝をしなくてもいいのに、わからんものです。

何であれ、結論として、この項目は不合格です。

6. Produce a test manual available to the public which: (1) Explains the relevant measurement concepts so that they can be understood by non-specialists. (2) Reports evidence of the reliability and validity of the test (3) Describes the scoring procedure and, if multiple forms exist, steps taken to assure consistency of results across forms. (4) Explains the proper interpretation of test results and any limitations on their accuracy.（以下の条件を満たすマニュアルを一般向けに公開すること：(1) 専門家でない者にもわかるような形式で、測定法に関わる概念が説明されている。(2) そのテストの信頼性・妥当性に関わるデータが報告されている。(3) スコアが確定される手順が説明されており、部門別に複数のスコアが提示されるのであれば、各部門を通じての整合性を担保するための手順も説明してあること。(4) テスト結果を正しく理解する方法およびその結果の正確さの限界が説明してあること。

ここで言うマニュアルに相当するものは、私の知る限り、 英文のマニュアルしかありません。したがって、ようやっとの思いで TOEICを受験しているレベルの人々が読んで、理解できるはずもありません。しかも、統計の素養が要求される資料なので、私にはさっぱりわかりません。そういう資料です。この程度では、そもそも必要な資料が「公開」されていないに等しく、したがって、不合格です。

★　さいごに

JLTAのガイドライン自体、発展途上のもので、まだ識者の意見を聞いている段階のようですから、これを振り回しても意味が薄いと思われるかも知れません。しかし、言語テストの分野における「このぐらいは守ってよ」という最低限のラインはいちおう示されているわけで、そこでの６つのチェックポイントをどれ一つとして問題なくクリアできないのは、TOEICが社会的影響力のある、high-stakes test であり、社会的責任が問われる立場にあることを考えるとまずいのではないでしょうか。

いずれにしろ、これだけ日本社会に根づいているのですから、TOEICの実施団体も、マニュアルにつき、統計学を知らなくても理解できるように書き改めてから和訳する一方、成績をどう解釈すべきかについてももっと広報に努めたらいいのにと思います。

また、企業側が総合的な英語能力判定テストかのように誤解しているのを是正する努力も求められます。自分たち自身、 個別のインタビューといった場では、We do not recommend corporations use TOEIC in isolation.（企業がもっぱらTOEICだけを取りあげて使うのはお勧めできません）と言っているのですから、他でも積極的にこの点をPRしてしかるべきです。何とかブリッジといった新たなプロダクトを次々送り出して商売に励むより、基本的なプロダクトをユーザーに正しく理解してもらい、適正な利用を確保するほうが大事なことのはずです。
・
・
・
・

連続３回も書いていると、いっぱしのTOEIC評論家になったような気分になります。ただ、TOEIC礼賛という立場から書いているわけではないので、TOEICがらみの講演で稼いでいる評論家の列には加えてもらえそうもありません。ちと残念ではあります。

なお、人気ブログランキングに参加しておりますので、このリンクをクリックすることで一票入れてくださると、うれしい限りです。深夜零時に再スタートするしくみなので、前回、投票してくださった方も、新たな一票をお願いします。どうぞよろしくお願いします。人気blogランキングへ

Trackbacks

Trackback URL: 

Comments