コメント・トラックバックについて

SAT は TOEIC と同じような択一形式の出題によっていますが、SAT専門の受験予備校である Princeton Review が実際に受験して知り得た出題をもとに練習問題を作り、１回 600ドル弱のコースを提供して稼いでいたのに対して、ETS が、自分たちの問題を複製して商売するのは、著作権により保護されている「非公開の試験」としての特質を損なうことになる上、問題の複製自体が直接、著作権を侵害しているとして提訴したのです。

日本の著作権法に基づいて争った場合、どういう結論になるのかわかりませんが（P社とF社をやっつけたYK先生、ご覧になっていたら、是非コメントを！）、米著作権法上は、各回の試験問題のセットを一つの著作物として登録できることを定める明文規定があり、"secure test" registration と呼ばれています。ここで言う、secure test とは、こういうものです。

A nonmarketed test administered under supervision at specified centers on specific dates, all copies of which are accounted for and either destroyed or returned to restricted locked storage following each administration. 特定期日に特定の試験会場において監督員の下で実施される非売品テストであって、試験問題のすべてが管理されており、かつ、各回の試験実施後、それが廃棄されるか、または、立ち入りが制限され、施錠もされる保管施設に戻されるもの。

このような secure test に該当するものは、それ自体一つの著作物として保護され、内容を構成する個々の試験問題も同様に著作権によって保護されるので許可なく複製すれば、著作権侵害を構成するという理屈です。

一方、テストを作成する業者は、こうした secure test であることをいいことに、いつも同じ問題のプールの中から出題する問題を選び出して「使い回す」ということも可能になりますが、同時にディレンマも抱え込みます。

そもそも、この「使い回し」がなぜ問題かというと、制作業者が大した苦労をせずに大きな利益をあげられるということよりも、試験対策が可能になるという点がより大きな問題です。客観テストである以上、精度を確保するためにある程度過去問を使わざるを得ないというのに、そのことを広く知られてしまっては、過去問を研究されてしまい、目端がきく受験者と、そうでなく、漫然と受ける人との間で差が出てしまいます。ですから、この種のテストを作成している方は口が裂けても過去問を使っていますなどとは言えません。そこが辛いわけで、こういうった事情を頭に置いて、TOEIC サイドの説明を聞くと、けっこう楽しめます。

この点、TOEICが出している "TOEIC From A to Z" (2003)を見ると、

2.10　 Is it possible to study for the TOEIC test?

という、試験対策が可能かという問いに対して、こう答えています。

The TOEIC test is not based on the content of any particular English course or textbook...The TOEIC test does not require specific study or test preparation. TOEICは、特定の英語コースや教科書の内容に基づいているわけではありません。TOEICは、特定内容の勉強や受験対策を必要とするものではありません。

そりゃ、特定のコースなどに基づいてはいないでしょうけれど、過去問を混ぜて、それへの解答を分析して、一貫して答えがばらつくものは排するといった作業を必要とする客観テストである以上、同種の問題をプールし、そこから出題するといったことは避けようもありません。となると、その種の過去問を見抜かれてしまうと、「特定の過去問プールに基づいている」結果となり、TOEIC の公式説明に反して、実際上は、受験対策が可能となってしまいます。その意味で上の説明はほおかぶりで通しており、あっぱれです。

また、わが国でのTOEICサイト上にあるFAQでも、同様の観点から、こう説明しています。（下線はわたしが付けました）

A1-10.　一般的に、実力以外で高得点をとる可能性があると思われている要因には、多肢選択において推測による得点効果（Guessing effect）、練習による得点効果（Practice effect）、受験指導による得点効果（Coaching effect）の3種類があります＜中略＞「受験指導による得点効果」は予想問題が当ることによる得点上の有利さを意味します。しかしこれは、ある程度出題範囲が決まっている場合には可能でしょうが、TOEICは出題範囲が限定されておらず、いいかえればすべての範囲から出題されるものです。ですから、同じ問題を予想することは不可能ですし、いくつか同じ単語や熟語、構文といったものを当てることができたとしても、全体のスコアにあたえる影響は微々たるものです。つまり、受験指導による得点効果にたいしても対応できていることになります。

本当にTOEICサイドが言うとおりなら、（著作権の問題は別として）TOEICブロガーたちが過去問を再現するのをおそれる必要は何もないはずです。何と言っても出題者側が「TOEICは出題範囲が限定されておらず・・・同じ問題を予想することは不可能です」と断言しているのですから。出題範囲に限定がない以上、過去問から将来の問題を予想などできるはずがありません。ところが、実際は、客観テストの精度を維持するため出題の相当部分が過去問のプールからとならざるを得ず、その限度では、「出題範囲が限定されて」いるも同然となります。もちろん、こんなことは制作サイドにとってはタブーであり、素知らぬ顔をして上のような公式説明をすることになります。

この点、（削除されてしまったものの）「TOEIC連続満点サラリーマンのブログ」の記事では、過去問がリサイクルされていることを浮き彫りにしていたわけで、TOEICとしては、痛い所を公開のブログで突かれ続けて、とうとうたまらなくなって「やめろ！」と申し入れたのでしょう。ささやかな個人のブログなのに・・・。本人にそんな意図はなかったのでしょうが、TEX加藤先生は結果として巨大ビジネスTOEICに悲鳴をあげさせたわけで、痛快至極でもあります。

こういう流れを見ていると、「TOEICはあらゆる点で、実力以外の要因によって評価基準にゆがみが生じないよう、細心の注意を払って設計されています。付け焼き刃的受験対策はTOEICには通用しないとご理解ください」と言っているTOEICの説明が弱々しく、うつろに響きます。

同時に、改めてMorite2、TEX加藤、そして神崎正哉先生たちの分析力と根気のすごさに頭が下がります。問題の再現という道は塞がれても、洞察力まで封じることはできませんから、こういった先生たちのアドバイスの価値が減ることはないでしょう。

ところで、テストを作る側にすれば、過去問が二度と使われないように複数のプールから無限の組み合わせをしていく方式は時間と莫大な費用がかかる話ですし、先に触れた客観テストとしての精度を維持する上でも必要なので、おのずと同種の過去問を繰り返し使うことになります。結局、対策を取られてしまうリスクはあっても、いろいろな意味で単一プールからの出題とせざるを得ない事情があるのでしょう。ただ、これを認めてしまっては元も子もありませんから、制作サイドは必死に否定します。

このあたりを突いていておもしろいのがNYタイムズの記事。TOEICという同様の択一形式によっているGREというテスト（これもETSが作っています）につき、ニューヨーク州の上院の教育委員会で果たして単一プールでテストとしての信頼性を確保できるのかが論じられた際に、ETSは複数のプールからの出題なので心配しないでくれと突っぱねます。ところが、Princeton Review と同様の受験対策業者として有名な Kaplan が従業員22名を複数の試験日に分けて全米９カ所の試験会場に送り込み、問題を記憶させ、再現してみたところ、同一の問題が使われていると判明しました。

当然、頭に来た ETS はいろいろと理由を挙げて Kaplan を訴えます。ただ結果は、著作権侵害の部分をのぞき、ほとんどの請求が門前払いでした。その中で目を引くのが、出題は複数のプールからだというETSの主張を担当裁判官が斥けている部分で、上記の記事は、こう報じています。

Educational Testing Service's assurances to the New York Senators that it had been using multiple pools were "ill-founded." 　ETSはニューヨーク州議会の上院に対して複数のプールを用いているから大丈夫だと請け合っているが、「根拠薄弱」だ。

人気ブログランキングへの一票、どうぞよろしくお願いします。人気blogランキングに一票

Trackbacks

Trackback URL: 

Comments