HOME＞英語＞ニュース・ビジネス英語
はてなブックマークに追加 Check
　
　
日向清人のビジネス英語雑記帳：スペースアルク
　

2011年1月 9日

TOEICの問題点三つ

近々、英語を使ったコミュニケーションにつき、ちょっと話をさせていただく予定で、その中で、英語コミュニケーション能力の指標としてよく使われるTOEICに触れようと思っています。

このTOEIC、英語を勉強している人、あるいは英語に関心のある人で知らない人はまずいそうもないぐらいの圧倒的知名度で、事実、某ホテルの社長が、中身を知らないまま、国際化のためということで、いきなり部長以上は全員受けるようにと突然、命令を出した例を知っています（親戚筋が創業しているだけにショックでした）。また、企業は海外派遣要員を決めるに当たり、TOEICのスコアで730以上と言ったりしています。こういう方面に明るいはずの文科省でさえも、英語教員は730をクリアしていることが望ましいと言ってたりします。１単位当たり45時間の学習時間を前提にしている大学の単位までTOEICスコアで認定している大学が増えていたりします。

それでいて、TOEICがどういう試験なのかよくわからないままTOEIC、TOEICと口にする人の多いのには驚きます。例えば、数年前に文科省の副大臣を務めた方に、TOEICって受験者の８割が日本人と韓国人ですよ、ご存じでした、と尋ねたところ、そんな馬鹿なと絶句したという話があるぐらいです。

そこで自分のメモ代わりにTOEICの問題点を簡単にまとめておくことにしました。アプローチとしては、TOEICさん自体が三つのセールスポイントを打ち出しているので、本当にそうなのと、その三つを検討していく方式によります。

TOEICテストがどういうものかについては、何と言っても主宰団体のウェブページを見るのが一番です。

そこに行くと、「英語によるコミュニケーション能力を幅広く評価する世界共通のテスト」とあり、さらに、以下の三つがセールスポイントとして強調されています。

（１）スコアは、常に評価基準を一定に保つために統計処理が行われ、能力に変化がない限りスコアも一定に保たれている（要するに絶対評価みたいなものだよと訴求しています）

（２）世界約90ヶ国で実施されており、グローバルスタンダード

（３）「コミュニケーション英語能力」を正確かつ総合的に評価

問題点の１：「スコアは、常に評価基準を一定に保つために統計処理が行われ、能力に変化がない限りスコアも一定に保たれている」と言うが本当か。

つまりは、まるで英語が駄目な人はそう評価され、上手に話せる人はそのように評価される仕組みになっているのか、あるいは、話せなくても受験仲間と比べて上手なら英語が「できる」と評価されるのかということですが、「「スコアは、常に評価基準を一定に保つために統計処理が行われ、能力に変化がない限りスコアも一定に保たれている」という下りだけを読むと、絶対評価で英語能力の到達度が測定され、しかもブレないよう統計的処理がなされており、安心して使えるスコアかのようです。まあ、だからこそ，企業が昇進の条件にしたり、文科省も英語教員の資格要件のひとつとして730といった数字を挙げるのでしょう。

しかし、第一に、TOEICジャパンの親会社に当たるETSみずから、TOEICは到達度を客観的に測定するテストではなく、受験者どうしの相対的位置づけを測るコンテスト型のテストであると言っているのです。乱暴に言えば、本人はへなちょこでも、比較対照される母集団がもっとへなちょこなら、自分は「英語名人」として相対的に浮上するということです。

ETSの公式刊行物であるTOEIC Research Report NUMBER 1 SEPTEMBER 1989は、TOEICの性格につき、こう説明しています。

The Test of English for International Communication (TOEIC), developed by Educational Testing Service (ETS), is a multiple-choice, norm-referenced test designed to measure the English-language listening comprehension (LC), and reading (R) skills of individuals for whom English is a second language (ESL). Educational Testing Service (ETS) が開発した TOEIC は、英語が第二言語である人々のリスニング能力とリーディング能力の測定を目的にしている、択一方式による集団規準準拠型テストです。

ここに出てくる norm-referenced test（集団規準準拠テスト）が鍵ですので、norm-referencingがどういうものかを同社の用語集で確かめると、こう言っています。

Making test scores meaningful by providing information about the performance of one or more groups of test takers (called "norm groups"). A norm-referenced score typically indicates the test taker's relative position in the norm group. 一または二以上の受験者集団（「基準集団」と呼びます）の成績を基にスコアの意味合いを判定するもの。通例、この方式のテストのスコアは受験者の基準集団内の相対的位置づけを示するもので、パーセンタイルによるスコアがよく用いられる）

これと対照的なのが criterion referencing（目標基準準拠方式）と呼ばれるもので、同じくETSの用語集で見ると、"each individual test taker's score is compared with a fixed standard, rather than with the performance of the other test takers" （各受験者のスコアは、他の受験者の成績との対比ではなく、所与の確定した基準と照らし合わせて判断される）という解説になっています。要するに自動車の運転免許や調理師免許のように所定の基準があって、それに照らして点数がつくのが criterion referenced で、TOEICのようなnorm-referenced形式の場合は、受験者仲間内での相対的ランキングだということです。

英語の腕前を直接測定してスコアが算出されるのではなく、他の受験生のスコアとの兼ね合いで決まるのです。

もちろん、TOEICのスコアは、得点が「等化」という統計処理を経て尺度点なるものに換算されるので、絶対評価だという言うべきだという人もいますが、しかし、そういった尺度点も最終的には母集団（TOEIC開始初期の受験者グループ）に基づいて作成されたスケールに当てはめるのですから、結局は相対評価です。スコアの通知書上、受験者のパーセンタイル（スケールを100分割して、受験者をランキングしたもので、99なら、上位1%内ということ）によりランキングされていることが何よりの証拠です。

第二に、いくらスコアが安定するようになっていると言っても、そもそもこのスコア自体、プラスマイナス35点の誤差があります。商品設計上、最初から、その程度の誤差は織り込み済みということであり、それを知らないのは受験生を含めてのユーザー側の不勉強の結果です。

実際、ETSみずから、この誤差のことを以下のように対外的に公表しています。TOEIC FAQというウェブページをご覧になると、こういう説明です。

Q：If I take another version of the TOEIC test, will I receive the same scores?

Ａ：If you take another version of the TOEIC test, you will probably obtain slightly different scores from those you received the first time. Each version of the TOEIC test is validated on a population of at least 50,000 people. It is therefore a highly reliable test, but no test measures performance with perfect accuracy and consistency. If you took several versions of the test within a short period of time, you would obtain a number of scores that centre on an average value known as your “true” score. Two-thirds of the time, your total score would be within 35 points of your true score.

肝心なのは、最後の部分、つまり、Two-thirds of the time, your total score would be within 35 points of your true score.つまり、確率67%で、あなたのスコアは（何十回も受けていればそこに収斂するであろう）「真のスコア」からプラスマイナス35点の範囲内にある、と言っている部分です。

この点、TOEICが単位認定に使われている香川大学の長井克己先生は、研究報告において、前回と今回のTOEICを比べて、70点以上の点差がなければ、実力が伸びたとは言えないとされています。

また、この研究報告では、TOEICの制作業者みずから公表している数字を基に、毎回のテストでは計50点の誤差があり、スコアが300であれば、真の得点は250-350の間にあると理解すべきだとしています。

そうとすれば、昇進の条件あるいは文科省による英語教員の資格要件としてよく耳にする730というスコアは、実は、680-780という幅のある数字で、すっぱり730で足切りをするのは不正確であるし、不公平でもあります。また、単位の認定をこうした不確定的な数字で行なうというのも、最高学府としての信用を損ねる行為です。

いずれにしろ、TOEICスコアをもって、英語能力の到達度を測定する客観的スコアかのように言ったり、扱ったりするのは間違いの元ということです。受験者のランキングをするためのコンテストでしかなく、しかも各実施回ごとのスコアにプラマイ50点もの誤差がある、そういう限界のあるテストなのですから。

問題点の２：世界90ヶ国で実施されているテストであり、グローバルスタンダードだとされている点

これもETSの公式の資料である、TOEIC: Report on Test Takers Worldwide 2005を見ると、Japan and Korea (ROK) accounted for approximately 77 percent of test takers worldwide. 要するに受験生の８割方が日本人と韓国人で占められているわけで、いくら90ヶ国以上で実施していても、実質的に「グローバルスタンダード」というのは良く言っても強弁で、悪く言えば誇大宣伝です。

問題点の３：TOEICは「コミュニケーション英語能力」を測っているのか

この点については、英バーミンガム大学の Cynthia Cunninghamによる、THE TOEIC TEST AND COMMUNICATIVE COMPETENCE: Do Test Score Gains Correlate With Increased Competence? a preliminary studyという研究報告があり、以下のとおりTOEICがコミュニケーション能力測定のテストであるか疑わしいとしています。

Initial results suggest that a correlation neither exists between TOEIC test scores and communicative abilities, nor between TOEIC test score gains and improved communicative competence. Additional findings suggest that TOEIC test-preparation does not result in more accurate use of structure. Furthermore, it appears that the test is not an ideal discriminator of language abilities. Thus, its role as a placement test and as a measure of non-native speakers’ English language abilities needs reappraisal.　中間報告として言えるのは、TOEICのスコアとコミュニケーション能力との間に相関関係はなく、また、スコアの上昇とコミュニケーション能力の向上との間でも相関関係は認められない。加えて、TOEIC向けの勉強をしたからと言って、構文の操作がより正確になるものでもない点も判明した。さらに言えば、言語能力を判定するテストとして理想的とも言いがたいとの印象を受ける。こうしたことから、プレイスメントテストとしての役割ならびに非母語話者の英語能力を測る尺度としての役割については見直しが必要と言える。

この Cunningham の実証研究が興味深く、また、説得力があるのは、大学生５０名を対象に、検証期間の開始時と終了時にTOEICを受けてもらった上、そのスコアを同時に受けてもらった別の英語のテストの結果と対比している点で、対比の結果、以下のことがわかったと言います。（別のテストというのは、ランキングを競い合うコンテストであるTOEICと対比するため、直接的にどの程度話せるのか、書けるのかを測定するために開発されたテストで、ここでは TIC と呼んでいます）

第一に、TOEICのスコアとTIC［別のコミュニケーション英語能力テスト］のスコアとを比較したところ、TOEICのスコアが高いからと言って、話したり、書いたりするコミュニケーション能力が高いというわけでもなく、反面、TOEICの低スコアがそのまま低いコミュニケーション能力を物語るわけでもない。

第二に、TOEICのスコアの上昇幅とTICで測ったコミュニケーション能力の向上との間には何ら相関関係が認められなかった。

第三に、TOEICの受験準備により英語を使う際の言葉の組み立て方がうまくなったという事実も認められない。

まとめに代えて言えば、TOEICが果たして「英語によるコミュニケーション能力を幅広く評価する世界共通のテスト」だと言えるかにはおおいに疑問があるということです。

なお、この記事はTOEICのことをよく調べもしないまま「英語能力のチェックならTOEICでしょ」的感覚で導入し、安易に社内評価の基準として使う企業関係者を念頭に置いているもので、別段、TOEICが駄目だと言っているわけではありません。（１回２万円強で半日かかるケンブリッジ英検と異なり）一回５、６千円の受験料で年に数回も実施されていますし、個々の学習者が自分の学習進度の目安としたり、心理的な励みとするには格好の検定だと思っています。もちろん、何がコミュニケートするための英語力として必要かを知りたい方には立場上、ケンブリッジ英検やそのビジネス版であるBULATSを強くお勧めします。


その後、TOEICがらみで、以下二つの記事を発見しました。特に（１）はNYの試験会場に行ったら日本人と韓国人ばっかりだったと痛烈です。「グローバルスタンダード」の正体見たりという感じです。

（１）「TOEIC試験は誰のための試験?」TOEIC試験の世界における位置づけ

（２）「TOEICは役に立たない＆お勉強は人生の無駄」

Trackbacks

Trackback URL: 

Comments

日向先生

こんにちは。10年ぶりにアメリカの大学に戻ってきて、前回とは違う大学とは言え、大陸の中国人学生の多いことに驚きます。前回はワシントン州、今回はインディア州なので、西海岸は更に多いんだと思います。

また海外経験ある無し問わず、日中韓（順不同）の普通の学生の英語だと、平均レベルは中＞韓＝日かと感じます。日韓の母国での大学生人口に占める在海外比率は韓国の方が多いと思うので、若干韓国の方が上かもしれません。

いずれにせよTOEICが受験者内での相対評価という事ですから、この状態で中国人がTOEICを受験し始めたら、日本人の平均スコアは下がると思います。もし出身国別の点数分布があれば、グローバル企業の進出計画で「言語の観点では、この国は○、この国は×」みたいになってしまうかもしれません。

ただ、受験者の大半が日韓で安定しているおかげで、実は点数が凋落しているかもしれない事実に直面せずに済んでいるのかもしれませんが。

［返信］

おひさしぶりです。お元気そうで何より。しかも勉強のための渡米とはすごい！

実におもしろい視点からの観察談、ありがとうございます。おっしゃるとおりなんだろうなと感じます。

  •  yuskay
  • 2011年9月12日 00:13

はじめまして。いつも興味深い記事ばかりで非常に参考になります。

　10年前に英国語学留学中に先生とお話をした際、誰もTOEICなんて知りませんでした。一般の人ならいざ知らず英語を教える語学学校の先生方ですよ。
　それともその後10年間でTOEICのいうように世界90カ国で実施するようになるほどになったのでしょうか？

　因みにケンブリッジ英検（CAE)受験直後に帰国し、問題集も買わず何の準備もせずにTOEIC受験したら895点でした。

［返信］

TOEICはこの記事にあるとおり受験者のおよそ８割が日本と韓国ですから、イギリスの英語の先生では知っている方が珍しいくらいでしょう。

アメリカ人も知らないのが普通です。

http://blog.goo.ne.jp/oyakudachieigo/c/02925db603a20a567541580bfbf9c495

  •  パリン
  • 2011年5月11日 12:51

いつもながら、直球、正当なお説、感心しております。

雑誌「選択」4月号、お目にとまりましたか？
（私の「名前」のリンクをご覧になってください）

「日本人の愚かな『TOEIC信仰』、世界では
誰も知らない『国際基準』」と強烈です。（ｐ100、101）

私のほうはコメントにもある日本人に不得意のスピーキング力を測るVersantの普及に努めてます。

日向先生、こんにちは

TOEICは英検からその座を奪った感がありますよね。
先日のニュースでも「武田薬品工業は2013年春入社の新卒採用から、応募条件に英語能力テスト「TOEIC」で730点以上の基準を設ける。」とありました。

先生お薦めのケンブリッジ英検は、認知度がまだまだなので、声を大にして告知して頂きたいです。
英国に留学していた姉は(CPE)をとりました（ｴｯﾍﾝ）。それなのに、残念ながら日本ではそのすごさをほとんど誰もわからないそうです。

そんな私はケンブリッジ英検(CAE)を目指して頑張っています!

［返信］

どうもケンブリッジ英検というのは妙に気取ったところがあり、価値がわからん奴はそれでよろしい的な感じがあり、困ったものです。

CAEとは頑張ってますね。ご存じでしょうが、公開されているサンプルペーパーやらスピーキングの様子などをじっくり勉強しておくと安心ですよね。

頑張ってください！あと、CPE仲間のお姉様にもよろしくお伝えください。

  •  Emma
  • 2011年1月24日 16:01

初めまして、
トータルで日本人が英語の能力を測るとしたら、
どの試験を受けてどのような結果を得ればよいのでしょうか？
複数のテストを受験すればよいのでしょうか？
もしそれならば、どのテストでしょうか？
それとも総合力をはかるテストは現状無いのでしょうか？

［返信］

総合力を測るテストとしてお勧めはケンブリッジ英検です。詳しくはこちらの事務局のページで。

http://j.mp/etqNAQ

このテストはレベル別にどの程度のことが要求されており、しかもそれがスキル別に示されるので、バランスよく勉強できます。自分でも昔はこれを研究してバランスよく英語の力をつけました。TOEICの受験指南で有名な神崎正哉先生もセミナーなどで自分の英語力はケンブリッジ英検のおかげと公言されています。

ただ、半日がかりのテストで、料金も２万円強ですから、周到な準備と覚悟を要します。その代わり受かればおおいに自信がつき、しかも世界のどこでも通用する資格が得られます。

加えて、ヨーロッパ共通の基準に準拠しているので、英語をひととおり勉強したら、同じような感覚でフランス語などの勉強に移れます。

  •  kumonopanya
  • 2011年1月13日 08:56

TOEICの点数と英語でのコミュニケーション能力は比例しないことは常々実感していました。スコアの高いわたしより半分くらいのスコアの連れのほうが英語でのコミュニケーション能力があるのを体験しているからです。「TOEIC用の勉強」をすればそれなりの結果が出るタイプのテストなのでしょうか。とはいえ今年は久しぶりに受けてみようかな、というのがNew Year's resolution です。６０００円でもわたしにとっては安くないので少しでもいい結果が欲しいものです。
いつかTOEICのSWテストについても先生のお考えを教えてください。
それにしても、引用文の日本語訳、とっても勉強になります。いつもありがとうございます。今年も楽しみに拝読いたします。

［返信］

ことしもどうぞよろしくお願いします。

あいにくTOEICのSWテスト、受けたことがないので何とも。このあたりはやはり神崎正哉、テックス加藤、モリテツ先生グループのブログをご覧になった方がいいと思います。

  •  morningglory
  • 2011年1月13日 08:46

日向先生、おはようございます。
私自身はTOEICを学習素材に活用することを評価していますが、TOEICは明確な基準があり、その達成度を測定するテストではないという先生の懸念は共有しております。

基準を明確にしていないことが「TOEICの受験準備により英語を使う際の言葉の組み立て方がうまくなったという事実も認められない」という、いわゆる「TOEICで高スコアを取得しても話せない・書けない」問題にもつながるのでしょう。

だからといって、TOEICは明確な基準がないまま作成されているテストではないと思います。私自身数多くの受験を通して、いつもほぼ一定の質の試験を作成するETSの能力の高さに感心していますから。恐らく試験作成にあたり使用する語彙やトピックなどの規定をしっかり定めていると想像します。

実現しないと知りつつも私の希望は、先生のご著書（例えば『「ビジネス英語力」強化プログラム【上級編】』）のように、TOEICもタスクごとの必要な語彙、表現、進め方を公開してしまうことです。これに加えて、英検が新たに始めたように試験ごとの解答の正誤を受験者に通知するようにすれば、自分の弱点か明確になり今後の勉強の指針になるでしょう。

私がTOEICで一番残念に感じているところは、毎年日本だけでも100万人以上が受験していて、その解答記録をETSが独占しているという状況です。ロングマンやケンブリッジなどが学習者の間違いコーパスを作り、辞書作り、参考書作りに生かしていることを考えれば、もったいない限りです。

残念ながら英語学習者の間でもBULATSの知名度はそれほどないと思いますので、お時間のあるときにでも、どういう試験なのか特徴などをご紹介いただければ幸いです。

［返信］

おっしゃるとおり、最大の問題点は、試験ごとの正誤を知らせないことですが、しかし、それをやってしまうと、この試験自体成り立たなくなってしまうという話を統計の専門家から聞いたことがあります。項目応答なんとか理論のからみのようです。

BULATSについては、こちらの記事をご覧ください。

http://j.mp/elNp37

  •  Yuta
  • 2011年1月13日 05:41

はじめまして、

スピーキングもライティングもないテストで、
英語の総合力は測れませんよね。

私の友人はTOEIC940点でも
ろくにアメリカ人としゃべれない人がいます。
リスニングもあやふやです。

TOEICというテストが存在することは特に問題ないと思うのですが、点数がどう評価されるべきか、ということは、
会社全体としてTOEIC受験を導入するのであれば、
会社のトップは点数の意味を正確に把握する義務がありますね。

「TOEIC800点以上なら英語ペラペラ」という
まちがった認識を会社の社長がしてしまったら、
800点を取った社員も将来的につらくなると思います。

［返信］

おっしゃるとおり、社員に押しつける尺度の内容を知らないようでは、無責任もいいところです。

ちなみに、TOEIC、批判に応えてか、スピーキングとライティングのテストも別途始めていますが、受験者数が伸びず、事業としては大赤字のようです。

きっと自分が730点取ってみないと気づかないんだと思います。
英語を勉強し始めた頃は600点を取っただけでもどれだけすごいんだろうかと思ってワクワクして勉強を頑張っていましたが、800点後半の点数を取っても話せないもんなんだなと今更ながら感じています。

まぁでも、ここまで勉強を頑張ってこれたのもTOEICのおかげ・・・というか、会社の資格手当のおかげだったので、これからはちゃんと英語を使いこなせるようにトレーニングしていこうと思います。

［返信］

率直なご感想、ありがとうございます。TOEICの４回分の料金になりますし、時間も半日がかりですが、ケンブリッジ英検ですと、予め、各レベルでどの程度のことができなければ行けないか示されているので、バランスよく勉強できると思います。

  •  kimi
  • 2011年1月10日 13:36

どうも、TOEIC は問題数が多すぎて苦手です。

Listening Section もReading Section も、最後の方では疲れ切ってしまいます。難易度はそんなに高くないのですが…。本当に能動的な英語能力をスピードで測ることができるのか？　いつも疑問に思っています。

私の後輩に「TOEIC 800 取っていますから、英語の技術資料は任せてください」と言っているのがいました。信用して任せていたら、中身は単なる記号の羅列…。添削できる状態ではなかったです。作り直しました。

スピーキングもまたしかり、です。

１週間、傾向と対策本を読んで猛特訓すれば、スコアを100点か200点上げることは簡単だと思います。私の勤めている会社では、730点取ったら社員には「認定状」が与えられます。730点を取ることがゴール、即ち英語の４要素をほぼ問題なく使いこなすことができる、と勘違いされているようです。

［返信］

おっしゃるとおりで、対策で200アップしたとよく学生から聞きます。

なんだかんだで、それなりの効用はあるとして、不可思議な英語検定です。TOEICというのは。

  •  めいけんとパパ
  • 2011年1月10日 10:30

こんばんは。TOEICは何回か受験してみてスコアは900点代の者です。いろいろ批判はあるものの、Listening、Reading能力は確かに伸びますし、手軽に英語能力を測るものとしては、結構適当なものだと思います。ただ先生がご指摘するように、３つの点で偽りというか誤解があることは確かですね。
しかし、日本で英語教師730点目標というのは、あまりにも低すぎるのではないでしょうか。経験上、730点では何もできないに等しく、900点位とれてどうにか使えるかなといったところです。
このところよく引き合いに出されることで、韓国Samsungでは920点以上とらないと課長になれない（トヨタは600点代と聞きました）し、大学生も900点位はあたりまえという状況ですが、彼らは点数は単に通過点として考えていますので、TOEICは役に立たないとか御託を並べたりはしません。点数はあたりまえで、問題はその後だという感じです。

［返信］

おっしゃるとおり、TOEICは里程標代わりですよね。しかも里程標自体の存在意義をとやかく言うのではなく、それがどこに向う道のものか、どういうふうに目安として使えばいいのかに目が向かないようです。

  •  mkz
  • 2011年1月 9日 21:29

全く先生の仰せのとおりＴＯＥＩＣは英語の知識特に
受身側の能力をのみ評価していると思います。
曰く相対的に能動的な能力も推測されるのでスコア
は信頼？出来るという事のようです。
もちろん片手落ちである事は否めなくＳＷテストも
実施し相互補完的に評価するようにはなってはいますが。
かく言う私、過去さんざん受験しスコアだけはそれなりに
取れましたが実際の運用に関しては全くで、ある人に
私よりすごいスコアですね、と言われた事があります。
その人は外資でバリバリに働いている人で正に、私に
おいてはスコアに関し、虚構に過ぎないと痛感しました。
別に問題なく意思疎通が図れればスコアが高かろうが
低かろうが関係が無い訳ですし。
最近の英語公用語化のトレンドと相まって”テストのスコア”
が本来の趣旨と置き代わってしまっていますね。

早速先生の’知られざる～’を入手しました。私にはまだ
ここまでの運用は出来ませんが非常に参考になる事
盛り沢山です。がんばって身に付けたいと思います。

［返信］

おっしゃるとおりTOEICを開発した人々は技術的見地からそれなりの、したがって当然限界のあるものを開発しただけなのに、日本法人の作戦なのか、企業の無知なのか、原因は不明ですが、ともかく、スコアの意味が独自のものを持つに至っています。

『知られざる英会話のスキル』、ご購入ありがとうございます。あれで、急に言いたいことが言えるようになるという類いの本ではなく、会話というスキーマ／段取りを浮き彫りにしたつもりですので、必ず役立つ日が来ることでしょう。

  •  マルウチ
  • 2011年1月 9日 20:33
コメントフォーム
Remember personal info?