コメント・トラックバックについて

こんなことばかり言っていると、何か英語オタクの偏屈老人が勝手なことを言っているように聞こえるかも知れませんが、TOEIC一辺倒を問題視する人は私ばかりではありません。そこで、今回は、あまり日の目を見ないTOEICの批判的研究を紹介させてください。

★　TOEIC側の宣伝文句の検証

TOEIC批判の中で最も説得力があるのは北海道大学のMark Chapmanという方（以下「チャップマン」）がまとめられたペーパーだと思います。これはJALTつまり全国語学教育学会という語学教育の専門家集団が集まる場で発表されたもので、The role of the TOEIC in a major Japanese companyと題されています。どういう経緯での調査かまではわかりませんが、この研究報告は、創業90年、国内だけでも従業員数が約７万というかなりの大企業を対象に、その会社の従業員がどういった英語のスキルを必要としているのか、また、TOEICが社内でどのように位置づけられているのかを調査した結果がもとになっています。

この研究報告が説得力を有するのは、TOEICのスコアが高いのに会話ができないじゃないかといった見当違いの批判（５月15日号で指摘したとおり、TOEICは英語力を測定するものではありません）と異なり、TOEICの主宰団体自身が自分たちのウェブサイトに載せている宣伝文句や、TOEICからの依頼を受けて、TOEICの効果ないし効用を検証した研究者の調査結果を逐一、検証しているからです。

第一に、TOEICはリスニングとリーディングのテストしかないけれど、統計上なんたらかんたらでスピーキングとライティングの能力までチェックできるという宣伝文句が検証されています。例えば、TOEICのオフィシャルサイトwww.toeic.or.jpの中のFAQ集にも「TOEIC実施にあたって予めListeningとSpeaking、ReadingとWritingとの相関関係について検証し、それぞれが非常に高い相関関係を示すことから、ListeningとReadingのみの試験からSpeakingとWriting能力を含めた英語能力が測定できることを統計的に証明しています。そのため、TOEICはListeningとReadingのみで構成されています」とあるわけですが、これについて、チャップマン報告は、日本人285名を含む400名近いサンプルを対象としたTOEIC側のデータを検証して、スピーキングだけのテストを別途実施した場合、TOEICから推定されるスピーキング能力と結果が一致しそうだとは言えず、従って、社員の英会話能力を判定するのにTOEICだけに頼るのは、よりうる手段の中で最も正確なものを用いているとは言えまいとしています。

またこの流れの中で、Childsの研究報告（JALTが出したLanguage Testing in Japan (1995)所収のGood and bad uses of TOEIC by Japanese companies）を引用しながら、企業研修の中でのTOEICの扱いにも目を向け、次のような指摘をしています。第一に、TOEICは、研修の外注先を選別するため、グループ別の成果を比較することに使うことはできても、個別学習者の進捗度などを測定するのには不向きであること。第二に、英語の学習がどの程度進んでいるかを確認するためには、TOEICのように受験者集団の中での個別受験者の位置づけを割出すだけのテストは不十分で、これに加えて、一定の作業を満足すべきレベルでこなせるのかを見極めるテストで補完する必要があること。第三に、長期的に見た場合、英語がらみのニーズの多くは、TOEICではなく、自社固有の英語スキルを具体的にチェックするテストによって満たされるべきであること。

同様に引用されているHirai, M. (2002). Correlations between active skill and passive test scores.という研究報告は、TOEICスコアの意味あいを数字として出しており、興味深いものがあります。この研究は、TOEICのスコア、社員に対するインタビュー形式の試験結果、それとライティグ能力も判定される英語検定として定評のあるBusiness Language Testing Service (BULATS)のスコアを比較して相関係数を算出したもので、これによると、TOEICのスコアが400から650という中程度の学習者の場合、インタービューでのスコアとTOEICスコアとの相関係数はたったの0.49、また、BULATSのライティングテストとTOEICのスコアとの相関係数は0.66でした。一方で満点なら他方でも満点というのが相関係数１ですから、この相関係数が物語るTOEIC受験者の「実力」には考えさせられるものがあります。

チャップマン自身も調査対象とした企業の従業員169名を集めてインタービュー形式の試験を行い、その結果をTOEICスコアと対比しています。1989年にTOEICの作成業者であるETSが発表しているスピーキング能力とTOEICスコアとの相関係数は0.7だとのことですが、それと比べてチャップマンが手がけた調査の方では0.5から0.6という結果でした。

以上を踏まえて、チャップマンは、TOEIC外の独立した第三者による調査結果を見る限り、ETSがTOEICに関して主張している点を裏づけることはできなかったという結論に至っています。このことから、調査対象とした企業はTOEICを偏重しているのではないか、TOEICはスピーキングの測定において果たして信頼するに足るものかといった問題提起もしています。

★　企業内での英語研修とTOEICの位置づけ

次のステップで、チャップマン報告は、企業は社員の英語力改善に向けどうしたらいいのかという問題を取り上げています。

英語ができるということは、いわゆる４技能、つまり「話し」「聴き」」かつ「読めて」「書ける」ことができなければならないわけで、理想を言えば、これら４つのスキルを直接測定し、評価できるテストがあっって欲しいものです。しかし、実際は費用や手間から考えてそうも行かず、これに近いテストを追求するということになります。

この点、チャップマン報告は、あるテストがその意図通りのものを測定していると証明できて初めてテストとして「使える」のだという構成概念妥当性(construct validity）というものを持ち出し、これに照らして果たしてTOEICだけでコミュニケーション能力を評価できるのだろうかと切り出します。

その上で、調査対象企業のような国際的ビジネスの場合、社員の英語力中、測定されるべきものは、話す能力と書く能力だろうと守備範囲を見極めてから、テストには「直接的に測定されるべき技能を有しているかを見るべく、その技能を披露してもらう」直接的テストと「テストの結果が実際の、あるいは、いつものパフォーマンスとは異なるものと観念される」間接的テストがあるとした上で、アーサー・ヒューズの著作を根拠に、間接的テストが測定しようとするものは、テスト実施者が関心を持っているスキルそのものではなく、その背後に横たわっている能力に留まるという点に注意を喚起しています。そして、作成業者であるETS自身、TOEICはコミュニケーション能力を間接的に測定しようというものであると言っているのだから、コミュニケーション能力を直接測定しているわけではなく、効果的コミュニケーションに必要な前提としての能力を測定しているだけだと言い切っています。

こうした見地から、企業は、TOEICだけに頼って海外派遣要員を決めたりすると、海外事業において無形の損失ないし不利益を被る結果にもなるし、また、英語のできない社員に対して、業務に役立つ英語のスキルを身につけようという動機づけとなるようなテストが必要であることを考えると、直接的テストの導入に取り組むべきだと説いています。

話は、前回、取り上げた集団参照的テストと基準参照的テストの違いにも及び、TOEICのような集団参照的テストはある従業員が他の従業員との関係で相対的にどの程度できるのかを見定める上では役立つかも知れないが、従業員が英語で何ができるかを測定したいなら、基準参照的テストによる方が確実だと強調しています。TOEICを通じてある従業員が、一緒に受験した従業員のグループの中で上位20パーセントに入っていることがわかったとして、会社のためにその授業員がどういったことができるかはわからないから、直接スキルの有無・程度を測定するテストを少なくとも併用すべきだということです。

★　まとめ

チャップマンが得た結論は２点です。第一に、調査対象とした事業会社の場合、TOEIC偏重の結果、十分なコミュニケーション能力を備えていない人が海外に派遣され、無形の損失を被る可能性のあること。第二に、スピーキングとライティングの能力を直接測定し、評価するテストが導入されるべきこと、の２点です。

その一方で、チャップマンは、TOEICスコアを参照しながら部下の昇進などを左右する管理職が英語検定の本質を的確に理解してくれることを望むのはむずかしいだろうし、知名度の低いテストを果たして受け入れるだろうかといったことにも触れています。何と言っても、英語のことなんかわからなくても、TOEICのスコアが850なら高得点で、350なら低得点である程度のことはわかりますし、社内の平均が650といった数字があれば、ますます納得できるわけで、こういった背景から、The TOEIC mentality is entrenched in the company and changing it will not be simple.（何でもTOEICといった感覚は会社内にすっかり定着しており、これを変えるのは容易ではない）と言っています。同感である共に、ため息が出ます。

こうしたなか、日々TOEIC受験指南を目的とするサイトやブログが増え続けていますが、そういったものをのぞくと、TOEICは英語力の基準だとか、実践的英語の力をつけるのにもってこいといった記述ばかりです。聖書に、If the blind leads the blind, both shall fall into the ditch.という一節がありますが、この底知れぬ穴に次々善男善女が吸い込まれていくのを見る思いがすると共に何とかしなければとの思いにも駆られます。

この記事、いかがでしたか？よろしかったら、応援の一票をお願いします。人気blogランキングへ

Trackbacks

Trackback URL: 

Comments