理解する気で読まなきゃ、何も理解できるはずがない

hakaiya さん、ハイクで返信します。

破壊屋さんのランキングは、『このミステリーがすごい！』などと同じようなランキングだと思います。投票者が「何らかの母集団からの無作為抽出」によるものではないので、そのデータから「投票者という集団」以外の、およそどんな母集団の傾向を読み取ろうとすることも、基本的にはできないわけです。

……といわれても、破壊屋さんとしては「で、それは自分の記事と何の関係があるの？」となるかもしれません。破壊屋さんとしては、投票者である「307人」を母集団とした話しか、されていないつもりだろうからです。この307人の投票結果が、日本人一般の感覚を代表する、みたいなことは、たしかにどこにも書かれていない。

それでも、大人数が投票したランキングが公表されると、とくにそれが自分のセンスと合致するとき、記事の書き手がおかしなことをいっていなくても、何かしらそれを一般的な事実であるかのように認識する人が出てきます。

私はこの件に関して、破壊屋さんを批判しているのではありません。

過去の例を、ひとつひきます。

＊＊＊

こちらのはてブでは「純粋に統計分析資料として面白かった！／分析ってのはこういう風にやるもんなんだよわかったか、と辛坊あたりに突きつけてやりたい」というブコメが1番人気となっており、「そりゃないだろう」と思ったんですね。

1万というのはすごい数だけど、それで何の傾向がわかるかというと、「投票者の傾向」がわかるだけ。他のいかなる集団の傾向も、そのデータから類推することはできません。なのに、この調査をもって「ジャニオタ一般の傾向がわかった」とみなす人が何人もいた。

そういう様子を見て、私は前記のようにブコメに書いたわけです。話のネタとしては別にいいけれど、統計としての意味は（ほぼ）ないよ、と。記事を楽しむのはいいんだけど、このデータからわかるはずのないことまで読み取っている人や、おかしな称賛にまで賛同しちゃうのは違うんじゃないですか、ということ。

＊＊＊

かつて『このミス』関係者が、口を酸っぱくして、あくまで独断と偏見に基づくランキングだといっても、それを何か一般的な意味のあるものだとみなす人が絶えなかった歴史があります。

『このマンガがすごい！』では、本末転倒というべきか、「ランキングが納得できない」とかいう炎上騒ぎが何度も起きている。所詮、編集部が勝手に選んだ投票者が、自由に投票した結果を集計しているに過ぎないランキングなのに、なんでか「一般性がない」みたいな批判が集まる。

昨年のキネマ旬報のベスト・テンも、ヘンな批判が集まっていましたよね。『君の名は。』がランク外だって、何のおかしいこともない。昨年、映画館へ足を運んだ全ての人を母集団とした場合に、キネ旬の投票者層が「偏っている」だけのこと。偏っているからこそ、他のランキングとは別に「キネマ旬報ベスト・テン」として集計する意味があるのであって、一般的なランキングなんてものをキネ旬がやる意味なんか、むしろない。

でも、そういう転倒した意見がたくさんたくさん出てくるくらい、「大勢の投票によるランキング」というのは誤解されている。割合では少数かも知れないけれど、人数としては相当数の方に誤解されている。

私は別に、（少なくとも今回は）破壊屋さんの記事そのものにケチをつけたいんじゃなくて、それへの反応の一部に、危うさを感じているわけです。

私自身「こういうのでパーフェクトワールドあまり見かけないので嬉しい」というブコメにスターつけてたりしますけど、それは所詮、たまたま自分とセンスの似た投稿者が何人かいたというだけの話に過ぎない。私がそうとわかっていながらスターを付けたように、他の方だって、私がいうようなことは承知の上なのかもしれませんけど、見た目では、わかりませんから。

「覇王別姫が100位なの解せぬもっと上だろうよ」というブコメとか、何を基準としてそういうことをいっているのか、わからない。たまたまこの307人の投票ではこうだったというだけの話でしかないのであって。

「スターシップ・トゥルーパーズそんな上位なんか」というブコメもある。何を基準に「予想より上位」と考えているのか。「日本語圏の映画ファン」を母集団としたとき、投票者の307人がどう偏っているか、全くわからないのだから、『スターシップ・トゥルーパーズ』が上位でも下位でも「そういうこともありうる」としかいいようがない。

繰り返しますけど、私のいうようなことは織り込み済みで、みなさん上記のようなブコメをされているのかもしれない。しれないが、そうであるとも言い切れないので、私は私の懸念に基づいて、ブコメしました。

＊＊＊

サンプルがどう偏っているのでしょうか？

破壊屋さんの記事そのものは、投票した307人を母集団として書かれているので、偏りはありません。

しかし仮に「日本語圏の映画ファン」とか「日本人」などを母集団とするなら、サンプルの抽出に何らかの偏りがあることは自明。

破壊屋さんはおかしなことを書いていないけれども、記事の読者は、ついつい307人の投票者を「日本語圏の映画ファンから無作為抽出された307人」などとみなしてしまいがち。実際、ブコメを見ると、そのような誤った仮定を持った状態でランキングを見て、「意外だ」的なことを述べているものが、ちらほらある。

何を配慮すべきだったのでしょうか？

破壊屋さんの方で何か配慮すべきことがあったとは、考えていません。

追記（2017-07-31 02:37:51）

無作為だなんて誰も書いてないですし

書いていませんが、「想定する母集団に対して投稿者が（それほど）偏っていない」ことを想定しているからこそ、「意外」的な感想が出てくるわけです。

偏りはあって当然だと認識していれば、よほど奇妙な結果でもなければ「意外」と感じることはないはずです。

あなたが「破壊屋さんの調査に協力するタイプの人たち」と書いたのが一番事実から離れていると思います。

この点は仰る通りですね。了解しました。

追記（2017-07-31 02:43:12）

ブコメ修正

http://b.hatena.ne.jp/entry/342674008/comment/deztecjp
× 破壊屋さんの調査に協力するタイプの人たち
〇 投票者

いただいたご指摘
http://h.hatena.ne.jp/hakaiya/228185584445086533

追記（2017-07-31 14:25:24）

ご意見ありがとうございます。

たしかに、仰る通りの表記の方が正確かと思います。

ただ、記述の訂正と、訂正内容を記したハイクへのリンクを入れたら、「投票者」くらいの文字数にするしかなかった……というのが裏事情ではありました。

『シックス・センス』の件も、なるほどと思いました。

追記（2017-08-02 17:13:27）

あなたの言う「想定する母集団」が何なのかわかりません。「偏り」を語るなら母集団をちゃんと定義すべきです。

私は「307人を母集団とする以外の、どんな母集団を想定するのも誤り」と主張しているのです。特定の母集団に対して偏っているといっているのではありません。

「偏り」の根拠が「意外と感じるから」というあなたの説には驚きです。私が「納得と感じている人もいるから偏ってない！」とか言い出したらどう思いますか？

基本的には先に述べたことの繰り返しですが、私の意図が伝わっていないので、言葉を改めて書きます。

「意外」も「納得」もダメなのです。

「意外」も「予想通り」も、何らかの予想なしにありえない表現です。307人が何者かわからないのに、307人はたぶんこういう人たちで、だからランキングはこうなるだろう……という予想のもとに投票結果を見るから、「意外」とか「予想通り」となるのです。

しかし実際の307人は、何らかの母集団から偏りなく抽出されたサンプルではないので、どんな母集団も代表していません。結果的に予想が当たっても、外れても、それは関係なくて、そもそも予想することが不適当なのです。

以下は、ぜひとも、よくよく注意して読んでください。

307人が適当なサンプルでないことを承知の上で、307人を「日本語圏の映画ファン」の代表などと仮定し、その過程に基づく予想をし、その予想と対比しつつランキングを眺めるという記事の読み方は、ありだと私は思います。

ただしその場合、以下の点に注意が必要です。

もし307人が、何らかの定義による「日本語圏の映画ファン」から無作為に抽出された307人であれば、予想と投票結果が異なっている場合、投票結果は予想を訂正する根拠になります。

しかし今回のように307人の偏りが不明な場合、予想と投票結果が違っていても、あるいは合致していても、それは予想が間違っていることも正しいことも証明しません。

先の投稿で私が引いたブコメは、「307人が適当なサンプルでないことを承知の上」なのか、そうではないのか、正直わかりませんでした。だから私は、特定のブコメへのレスではなく、一般論としての注意喚起をしたのです。それは杞憂だったかもしれませんが、過去には明らかに誤解しているブコメにスターが集まる事例もあったことから、杞憂だったといいきることもできないと考えています。

「サンプルの偏りについて何の配慮もない」と言いながら 「破壊屋さんの方で何か配慮すべきことがあったとは、考えていません。」と言い出すのもわかりません。

別に、何らかの母集団を代表しないサンプルに基づく記事を書くこと自体は、悪くないのです。また破壊屋さんが誤解を助長するような書き方をしているとも思いません。それでも307人という人数の多さなどに幻惑され、誤解する読者は出てくるわけです。

ジャニオタ1万人調査の記事だって、記事自体に問題があったとは思わない。それを勝手に誤解する読者が悪いだけなのです。

私が注意喚起したい相手は記事の読者であって、記事の書き手ではない。「配慮がない」のは全然悪くないが、読者の方は「配慮がない」ことに気付かなきゃいけない。307人の投票結果を見て、何らかの一般論を引き出そうとしてはいけない。そういうことです。

私に対する文句じゃないのなら、私に対する文句じゃないとハッキリとわかる表現にしてください。

記事に問題はないが、（以下略）

上記の通り、改訂しました。

「記事に問題はない」ことと「307人は大人数ながらサンプルの偏りについて何の配慮もない」ことは両立します。「特定個人の独断と偏見によるランキング」だってOKなんだから、「特定個別の307人によるランキング」だって、当然にOKなのです。

「この文言では、まだ不足」ということであれば、ご意見ください。

追記（2017-08-03 12:05:19）

破壊屋さんのように頭のよい方が、なぜこれほど簡単な話をご理解いただけないのか、不思議でなりません。

破壊屋さんの記事を題材にすると、かえって理解を阻害するのかもしれないので、まず、別の事例で私の主張を述べます。

＊＊＊

いまここに、1人の人がいるとします。この方に、「目玉焼きはどう食べるのが好きですか？　醤油、塩、ケチャップなどで答えてください」と質問したとしましょう。

このとき、この1人の方が「七味唐辛子です」と答えても「マヨネーズです」と答えても、人間の多様性について理解のある現代人であれば、「おかしい」という話にはならないはずです。いろいろな個人がいることに、不思議はないからです。

ところが、「300人に聞きました」となると、「人数1位はマヨネーズです」という結果になったとき、「そんなバカな！」という人がたくさん出てくると思います。でも、これは「そんなバカな！」という方が間違っているのです。

とりあえず想定上の母集団を「日本人」ということにしましょうか。約1.3億という母数に対して、1も300も小さな数字です。1.3億人からたった300人を選ぶ場合、サンプルの偏りへの配慮がなければ、「目玉焼きにはマヨネーズ」という人が最大派閥になることはありえる話なのです。

地域的な偏りとか、そもそもアンケートの対象がマヨネーズメーカーの社員かもしれない。「300人」というのは、「1人」と同様、結果を予想できる数字ではない。想定上の母集団が「日本人」なら、その300人が日本人から偏りなく選ばれているかどうかを見なければならない。

「大学生が卒論のために同世代を研究する目的で大学生協でアンケート調査をした結果、先行研究と全く異なる結果になって意気揚々と発表したが、指導教官に呆れられた」なんて話はよくありますが、これなど自分の大学の学生が「同世代の偏りのないサンプルではない」ことを見落としていた典型的な事例です。

他方、1.3億人に対する300人というのは、偏りのないサンプル抽出をしたならば、少なからぬ場合に、実用上十分な信頼性のあるデータを取得できる人数でもあります。だから、錯誤が生じるのだと思う。

＊＊＊

さらに例え話を続けます。

『このミステリーがすごい！』は、もともと週刊文春のランキングへの不満から生まれたものです。

文春のランキングは、幅広い投票者をバランスよく選び、投票結果が「ランキングに関心を持つようなミステリーファンの最大公約数的なもの」になるよう、配慮を重ねて作成されたものでした。しかし、そのようなランキングだからこそ、「見る前から結果が予想できる」「つまらない」ともいわれていたのです。

そこで宝島社は、もっと尖った偏りのあるランキングを世に問おうとしました。偏った投票者による偏ったランキング、それが『このミス』の存在意義だったわけです。

ところが、もともと偏っていることを標榜している『このミス』なのに、「本格ミステリーが不当に冷遇されている」という批判が噴出します。でもそんな意見をいちいち聞いていたら、結局は文春との差別化ができなくなってしまいますよね。結局、本格ミステリーファンは、独自のランキングを立ち上げることになります。

キネマ旬報のベスト・テンも、投票者の偏りが明らかなランキングです。世間の映画ファンの大方が納得するようなランキングを作ろうとする配慮など、全くしていない。昨年のベスト・テンでは『この世界の片隅に』が1位になる一方、『君の名は。』がランク外になったことについて、外野からの批判がたくさんありましたが、むしろ「ふつうのランキング」ならキネマ旬報が集計・発表する意味がないわけです。

『このミス』も『キネ旬ベスト・テン』も、「日本語圏のミステリーファン全体」や「日本語圏のミステリーファン全体」を母集団と仮定したときに、サンプル抽出の偏りをむしろ積極的に維持しています。でもそれは、何ら悪いことではない。キネ旬に文句をつけている人らの方が、間違っていると私は考えます。

また、『このミス』の順位も、『キネ旬ベスト・テン』の順位も、予想できそうで、できない。それは何故かといえば、いずれも「日本語圏のミステリーファン全体」や「日本語圏のミステリーファン全体」に対して偏っていることはわかるけれども、どう偏っているかがわからないからです。過去の投票結果から、いくらかの類推をするのが精々です。

＊＊＊

さて、ここで話を戻します。

また「配慮がない」は否定的な表現です。

「配慮がない」のは全然悪くない

というあなたの意見は全く通じません。

以上を読んでもまだ、こう仰いますか？　『このミス』も『キネ旬』も、「サンプルの偏りについて何の配慮もない」が、それで全然構わないわけです。破壊屋さんの記事も、これと同じなのです。

少なくとも「配慮がない」の主語を教えてください。

「「ハッシュタグ「#90年代映画ベスト」を集計」するという調査方法」が主語です。「そのような調査方法を採用した人」を主語としても構いません。

『このミス』でいえば、「偏った回答者の回答を集計する」という調査方法、あるいはそのような調査方法を採用した編集部に、「配慮がない」。

＊＊＊

誰が307人以外を母集団に想定しているのですか？　一人でいいので、具体的にその人のアカウントを教えてください。

最初のハイクでの投稿に3例あげていますよね。どれも同じなので3回繰り返すことはしませんが、例えばT_Tachibanaさんのブコメは、こうです。

「覇王別姫が100位なの解せぬもっと上だろうよ」

307人が、どんな307人なのかは不明なのだから、『覇王別妃』がランク外でも1位でもおかしくないわけです。307人が特定個別の307人だと、きちんと認識されていたならば、『覇王別姫』の順位など予想しようもない。

しかしT_Tachibanaさんは、この307人がT_Tachibanaさんの想定する「映画ファン」（とりあえずこう表記）の代表的なサンプルであると仮定して、「覇王別姫が100位なの解せぬもっと上だろうよ」といった。でもその仮定には、根拠がありません。

ただし、仮定に根拠がない（307人が「映画ファン」から偏りなく抽出されたサンプルではないことは調査方法から自明）ことを認識した上で、あえて「映画ファンによるランキング」を予想し、実際の結果と対比させつつ読むということはありえます。

でもその場合、この調査では「307人こそが母集団」であって、この307人がそれ以外のいかなる母集団を代表することもないことの認識があるはずだから、「もっと上だろうよ」という言葉が出てくるのはおかしいですね。

特定個別の307人に対する全数調査の結果、『覇王別記』は100位だった。これはもう、単純事実であって、文句のつけようなどあるはずもない。（例外的に「集計間違い」の指摘という可能性は一応ある）

「もっと上だろうよ」は、単なる言葉の滑りかもしれないから、この一言をもってT_Tachibanaさんが誤った認識をされていると断定するつもりはありませんが、「サンプル抽出に偏りへの配慮がない」ことを見落としている「可能性」を見出すのは、自然だと思います。

もともと「映画ファン」から偏りなくサンプルを抽出した調査ではないのだから、「映画ファンによるランキングなら『覇王別姫』は上位に来るだろう」という予想が、実際の投票結果と合致しなかったとしても、予想が間違っていたことにはならないし、調査結果がおかしいということにもなりません。

＊＊＊

「何らかの定義」って何ですか？「何らかの母集団を代表しないサンプル」って何ですか？

あえて「バカのふり」をされてません？　本当は、理解されてますよね？

いまここに1人の人間がいるとする。この1人の人間は、全人類を代表するサンプルだといえますか？　いえませんよね。これは特定個別の1人でしかない。

では10人ならどうか。100人なら？　いずれも全人類を代表するサンプルだということはできません。

さらに、この100人が全員、千葉県で採取された（仮に無機的な表現とします）サンプルだとしましょうか。このとき、この100人は千葉県人を代表するサンプルだといえますか？　答えはノーです。

もっと絞り込んで、100人全員が千葉県成田市で採取されたサンプルなら、この100人は成田市民を代表するサンプルだといえるでしょうか？　やはりノーです。

さらにさらに絞り込んで、100人全員が成田空港で採取されたサンプルなら、この100人は空港利用者を代表するサンプルだといえますか？　これもノーです。時間帯、曜日、年齢層、サンプル採取の場所（例えば国内線カウンター周辺と国際線カウンター周辺とでは得られるサンプルにかなりの違いがあるでしょう）など、様々な点でサンプルの偏りをなくす配慮がなければ、空港利用者を代表するサンプルは得られません。

偏りに配慮せずに抽出された少数のサンプルは、どんな母集団を代表することもできないのです。

ある小学校のクラスの男子生徒15人が母集団だとして、欠席している1人を除いた14人の調査結果なら、どうか。この場合は、許容しうる誤差の範囲内だと判断できるなら、14人の調査結果をもとに母集団の特性を推定できます。偏りへの配慮がなくとも、母集団の大多数をサンプルとすれば、その結果から母集団の特性を推定できる場合があります。

しかし今回の307人は、「Twitterに日本語で投稿している」「ハッシュタグを理解している」「90年代映画にいくらかの関心がある」などと絞り込んでみても、上記の基準を満たさない。「ハッシュタグ「#90年代映画ベスト」をつけて投稿した全員」という以外の、およそどんな母集団を代表するサンプルだということもできないと、私は考えます。

＊＊＊

私はあの100本の映画それぞれに意外や納得を感じましたが、私はあなたの言うところの「ダメ」なのでしょうか？

事前に何らかの予想をするから、「意外」や「予想通り」といった感想が出てくるのです。

しかし307人が何者かわからない（どんな母集団も代表していない）のに、どうして予想が成り立つのでしょうか。

大きく2つの可能性があると思います。

ひとつは、307人が何らかの母集団をおおよそ代表するサンプルだと誤解している場合です。

どんな仮定でもいいのですが、例えば年に2回以上映画館へ行く人を「映画ファン」と呼ぶことにしましょうか。過去にその定義に沿った「映画ファン」による「好きな映画ランキング」を見たことがあって、今回の307人も、「映画ファン」から極端な偏りなく抽出されたサンプルだと予想するならば、過去に見たランキングとピッタリ重なることはなくても、だいたい重なる結果になるだろう……という二次予想が成り立ちます。

予想に予想を重ねているわけですが、こういう多重推量は、私たちが日頃から行っているものです。

もうひとつは、やはり同様に多重推量をするわけですが、「今回の307人が「映画ファン」から極端な偏りなく抽出されたサンプルだという予想」に「根拠がない」ことを認識されている場合です。

前者と後者の違いは、とくに「予想と異なる結果」に直面した場合に、鮮明になります。前者は「こんな結果はおかしい」と思い、後者は「自分の予想には根拠がなかった」ことを思い起こして、結果を素直に受け止めます。

「予想通りの結果」だった場合も、よく観察すれば、違いがあります。前者は「やはり思った通りだった」と思い込みを強化しますが、後者は「無根拠な予想が当たっても、予想の精度が証明されたことにはならない」と冷静です。

＊＊＊

「成田空港で採取された100人のサンプル」の事例で考えてみます。

「さて、この100人のうち、日常会話レベルの日本語ができる方の割合は？」

この問題の答えを、どう予想されますか？　「成田空港で採取された」という以上の情報が何もない以上、本当は予想なんかしようがないのです。

「この100人は成田空港の利用者の代表的なサンプルである」と仮定すれば、日本人の割合、外国人のうち、日本語ができる人の割合などを考えて、「およそこれくらいでは？」と予想できます。しかし予想の根底にある仮定に、何ら根拠がないことに注意が必要です。

仮に、「実際の答えは、4％だった」としましょう。仮定に根拠がないことを認識されていない方の場合、「そんな結果はおかしい！」というでしょう。いくらなんでも少なすぎる、と。しかし自分が置いた仮定の無根拠さに自覚的な方なら、「そういうこともありうる」と思うはずです。

例えば、「特定の搭乗口1か所だけ、特定の日時だけに調査を行っていて、たまたま調査のタイミングの関係で中国からの団体の観光客の集団ばかりを調査することになった」なんてケースが考えられます。

「成田空港の利用者」を母集団とし、サンプルの偏りについて何らかの配慮があれば、こんな調査には意味がないと、調査担当者は気付いたでしょうが、何の配慮もない担当者であれば、こういうこともありうるわけです。

なお、ここで「何の配慮もない」といったのは、あくまでも「成田空港の利用者」を母集団とした場合の話であって、「＊月＊日の＊時＊分以降、＊番ゲートを通過する100人全てを調査せよ」という指示だったなら、担当者は職責を果たしたことになります。

ここで問題を以下のように書き換えます。

「さて、＊月＊日の＊時＊分以降、成田空港の＊番ゲートを通過する100人のうち、日常会話レベルの日本語ができる方の割合は？」

さて、先程の問題と比較して、結果を予想しやすくなりましたでしょうか？　一部の例外的な方を除き、予想の困難さは、前の問いとほとんど変わらないと思います。

この100人がどんな特殊な100人であるかは予想がつかないので、仮に「この100人は成田空港の利用者の代表的なサンプルである」などと仮定して予想するしかないと思います。

「「ハッシュタグ「#90年代映画ベスト」を集計」するという調査方法」は、これと同じ構図です。サンプル抽出の方法は明確ですが、その調査結果について根拠の明確な予想できないし、調査結果をより一般性の高い母集団に適用することも基本的にできません。

＊＊＊

私はあの100本の映画それぞれに意外や納得を感じましたが、私はあなたの言うところの「ダメ」なのでしょうか？

予想に根拠がないことを認識された上で、「予想外」とか「納得」をされているなら、別に構いません。T_Tachibanaさんについても、同様です。

T_Tachibanaさんは、自分の予想の方が正しくて、実際の調査結果の方がおかしいというようなブコメをされていますけれども、それは単なる筆の滑りの可能性もあるから、誤った認識をされているという断定はしません。

追記（2017-08-04 13:59:49）

やっぱり話が通じていない……。いろいろ考えて、書いてみましたけど、少なくともこちら側に、新しい内容はないです。

説明の言葉は再調整したので、お忙しいでしょうけど、もしよかったら読んでください。これでダメなら、私の方はギブアップです。

＊＊＊

1人の人が作成した90年代映画ランキングで『覇王別姫』が下位でも、「おかしい」ってことはないはずです。世の中にはいろんな人がいるのだから、下位でも上位でもランク外でもおかしくない。

では10人なら、100人なら、307人なら……？

過去に行われた「映画ファン」（様々な定義が考えられますが仮に「年に2回以上映画館で映画を観る人」とでもしておきます）から偏りなくサンプルを抽出したアンケートでは『覇王別姫』が上位に登場していた、と仮定しましょうか。

この場合、307人が「映画ファンの代表的なサンプル」であれば、「『覇王別姫』が上位にくるはずだ」という予想をするのは妥当ですし、もし結果が違っていれば「意外」です。とくに『覇王別姫』の順位が下がる要因が思い当たらないからです。

しかし実際には、この307人は「映画ファンの代表的なサンプル」ではないので、「『覇王別姫』が上位にくるはずだ」という予想には根拠がない。無根拠な予想が外れることに何の不思議もなく、「意外」と感じる理由がありません。

「映画ファン」の人数に比して307人はとても少なく、とくに偏りに配慮せずに抽出されたサンプルなら、『覇王別姫』が下位になる程度の偏りは、むしろあって当然です。サンプルの偏りに配慮のない「307人」のデータは「1人」のデータと同様に受け止めるべきなのに、そうは考えない方が多い。

「意外」と感じるのは、偏りに配慮のないサンプルから得られたデータに対して、「307人ものデータなのだから偏りは小さいはずだ」と勝手に決めつけているからです。

これが、私が最初からいっている「307人は大人数だが、サンプルの偏りについて何の配慮もないので、このデータから何かを読み取るのは難しい。」ということです。307というサンプル数の多さに幻惑されてはいけないのです。

なぜ単なる感想をそこまで否定するのかわかりません。

映画のランキングなら、別に勘違いしていたって害はないかもしれない。でも、この手の調査に対する感覚は、そうそう都合よく使い分けられるものではないと思います。「307人」に幻惑される人は、映画以外の調査でも同様に幻惑されているのではないでしょうか。

軽い話題だからこそむしろ、結果にこだわらず「サンプルが偏っている可能性」に目を向けやすいだろう、と私は考えています。政治の話題だったりすると、とくに「自分にとって都合のいい結果になった調査」の場合、その信頼性に疑問の声が出ても人は聞く耳を持たないでしょう。

＊＊＊

あなたが

 何らかの定義による「日本語圏の映画ファン」

と言うから、私は「何らかの定義って何ですか？」と聞いたのです。

「特定の定義に限った話をしているのではない」のです。私は、個々人が行う予想のベースとなる母集団の想定の「最小公倍数」として「何らかの定義による「日本語圏の映画ファン」」と書きました。

307人がどんな人たちが、全く何の想定もしないなら、予想などしようもない。予想をする人、一人一人の中に、「この307人は＊＊な人たちだ」という定義があるはずです。

日本語の使用者である。90年代の映画に関心がある。Twitterを使っている。ハッシュタグ文化を理解している。……確実にいえることはこれくらいでしょうか。ここから、「Twitter利用者だから30代、40代が中心か」とか「Twitterで「#90年代映画ベスト」をつけて投稿するのは、そこそこ熱心な映画ファンだろうから、ヒット作だけでなく世評の高い作品も観ているだろう」とか、各々が考えるわけです。

そして、「この307人は、自分の想定する人々の中から偏りなく抽出されたサンプル」だと仮定して、ランキングを予想するわけです。当人は自覚していなくとも、やっているのはこういうことです。

これが「1人」だったら、偏りはあって当然だという意識が働くのではないでしょうか。「10人」でも、そう。ところが「307人」となると、偏りへの意識が失われがち。だから、予想が外れた時に「意外」だと感じてしまうのです。

T_Tachibanaさんが「307人以外を母集団に想定」しているとは思えません。

意識的か無意識かによらず、「307人は＊＊＊な人々である」という仮定なしに、「『覇王別姫』が上位か下位か」の予想はできません。そして「307人は＊＊＊な人々である」とは、「307人は＊＊＊な人々から偏りなく抽出されたサンプルである」という意味です、そう理解しているかどうかにかかわらず。

むしろ、無意識だったり、自分が何をどう考えて予想をしているかを理解していないからこそ、錯誤が起きるのです。

＊＊＊

成田空港の例について。

「＊月＊日の＊時＊分以降、成田空港の＊番ゲートを通過する100人のうち、日常会話レベルの日本語ができる方の割合は？」

この問いへの「答えを予想する」にあたって、「この100人は、成田空港の利用者から偏りなく抽出されたサンプルである」という仮定をすれば、既知の統計から、空港利用者の何割が日本人で、外国人のうち日本語ができる方は何割で……と調べていくこともできます。

でも、その予想には根拠がない。なぜなら、「＊月＊日の＊時＊分以降、成田空港の＊番ゲートを通過する100人」が、成田空用の利用者の偏りのないサンプルだとはいえないからです。

「＊月＊日の＊時＊分以降、成田空港の＊番ゲートを通過する100人」は「＊月＊日の＊時＊分以降、成田空港の＊番ゲートを通過する100人」でしかなく、「成田空港の利用者を代表する100人」ではない。

にもかかわらず、例えば「結果は、日本語ができる方は4％でした！」となると、「そんなバカな！」と思う方が、きっと出てくる。「たまたまその時間帯、そのゲートを通過していたのが中国からの観光客の団体だった」なら、4％ということだってありうる。「まあ、そういうこともあるかな」くらいに受け止める方が、この手の「調査結果」に対する態度として「正しい」と私は思います。

「ハッシュタグ「#90年代映画ベスト」をつけて投稿した307人」も、「これと同じだ」と、私はいっているのです。

T_Tachibanaさんは、『覇王別姫』は上位にランクインすると予想されていた。でも、実際の結果は違った。

その予想は、「投票者の307人は＊＊＊な人々から偏りなく抽出されたサンプルである」という仮定なしに、出てこないものです。「投票者の307人は＊＊＊な人々の中に含まれる」だけであれば、「＊＊＊な人々」の中で307のサンプルがどう偏っているかわからないので、「＊＊＊な人々」の偏りのないサンプルによる投票結果が既知であっても、特定の307人の投票結果がどうなるかは、わかりません。

より正確にいえば、「＊＊＊な人々」であることまではわかっているのだから、全く何の予想も立たないとまではいえません。「日本語圏の映画ファン」が307人の大多数を占めることはほぼ間違いないので、日本に紹介されていない、吹替も字幕も邦題もない作品が上位にきたら、さすがに「意外」かもしれません。でも「『覇王別姫』が下位なのは意外だ」といえるほど、307人の素性を絞り込む根拠があるでしょうか。

まとめると、私がいっているのは、投票結果を予想する際には、「投票者」は「ある母集団から偏りなく抽出されたサンプルである」という仮定が必ずあるわけだが、今回の場合、その仮定には根拠がない、ということです。

＊＊＊

307人の投稿の集計結果について、「『覇王別姫』が下位なのは意外だ」とまでいえる根拠があるか。

根拠がないことは承知の上で「意外だ」というなら、それ以上、いいたいことはありません。

でも、心底から「意外だ」「おかしい」と考えているなら、「そう考える方が間違っていますよ」と。

あなたが投票者の属性をどのように想定されているかわからないけれども、とにかく何らかの想定をして、そのような人たちが投票したなら「『覇王別姫』は上位にくるはずだ」と考えた。そこまではいい。でも、実際に投票をした307人が、その人たちの中から偏りなく抽出された307人だと考える根拠がありますか。ないですよね。だから、その予想は当たらなくて当然なのです。

私がいっているのは、そういうことです。

＊＊＊

私の意見に不同意なら不同意でいいんです。私は破壊屋さんを説得したいのではない。ただ、これだけ説明しているのだから、こちらの話を理解はしてほしいですね。

例えば、「偏りに配慮がない」という表現が気に食わないってのは、別にいいんです。ああ、そうですか、と。

私が例に挙げたいくつかのブコメは、いずれも「予想」と実際の結果のズレを扱っている。その予想の背景にあるのは、「投票者は＊＊な母集団の代表サンプルである」という仮定です。無意識であっても、そのような仮定抜きに、予想はできない。しかし実際には、「投票者は＊＊な母集団から偏りなく抽出されたサンプルではない」わけです。307人という人数に惑わされてはいけない。このことを指して、「307人は大人数だが、サンプルの偏りについて何の配慮もない」といっている。

「何に対して偏っているといっているのか」といえば、この調査を見るにあたって何らかの結果予想をした全ての人が、それぞれに想定した「何らかの母集団」に対して偏っている。一人一人、少しずつ違う母集団を想定しているわけで、私は特定の一つの母集団に対して偏っているといっているのではない。当然、そんなものを相手に配慮などしようもない。ええ、そうです。だから私は最初から、記事に問題があるなんてことは、一度もいってません。読み手の側が、勝手に誤解しないように、という注意喚起をしているのです。

……という話をご理解いただいたうえで、なお私の表現を「不愉快」というなら、反論はないです。それは「価値観の相違」の範疇だと思う。

あるいは、私のやっていることを、例えば「お節介」だとかいうなら、それにも反論はないです。それもやっぱり、価値判断の話なので。

「杞憂」については、「私の懸念が当たっている可能性はゼロではない」ことは既に示したつもりですが、「ゼロではなくとも杞憂の範疇」という判断もあるでしょう。

追記（2017-08-04 19:04:03）

もう一度、読み返してみて「こちらの主張は伝わっていて、ただ同意できない旨を返信されているだけなのかな」と考え直しました。

であれば、私の方はこれ以上、希望はありません。破壊屋さんの方は、どうですか。

  • 明らかな誤りを訂正
  • ブコメに「記事に問題はないが、」と追記

以上２点は対応済みですが、他にご希望はありますか。「配慮がない」については、今のところ訂正する考えはありません（破壊屋さんの主張に不同意）。

追記（2017-08-13 15:26:52）

破壊屋さんが数学科なら、私は今春にQC検定2級を取ったばかりで日々仕事で製品検査の統計を扱っている人間です。

で、それが何だっていうんですかね。

私は破壊屋さんの数学の理解が間違っているなんて一度もいってない。破壊屋さんがわかってないのは、数学じゃないですよ。

＊＊＊

以下、要点を短く書き直していますが、破壊屋さんは読まないで結構。理解する気で読まなきゃ、何も理解できるはずがない。

私自身の備忘録として、将来、自分自身が読み返す際に都合がいいように要約するものです。

＊＊＊

私がしているのは「予想」の話であって、最も適当なジャンルはたぶん哲学。数学はその道具。

人が「予想」できるのはなぜか？

全く正体不明の307人なら、投票結果の予想など不可能です。しかし様々な情報から307人が所属する集団の大きな枠はわかる。

だから、307人の集計結果もこうであろう、と人々は予想する。

でも、307人がその枠の中でどう偏っているかはわからない。だから本来、予想は不可能。それを可能だと考えるのは錯誤です。

大枠からも外れる結果なら意外だろうけど、大枠の中での偏りで説明がつく結果なら、意外という方がおかしい。ありうる偏りでしかない。

そして逆に、307人がいかなる集団の偏りなきサンプルでもない以上、この集計結果から、いかなる集団の傾向を読み取ることも不適切です。

＊＊＊

サンプル数が1なら、錯誤は起きない。たった1人の趣味嗜好を予想するなど、ほとんど不可能だと、みなわかる。
では、サンプル数が10なら？　307なら？　本当は1人の場合と大差ないのに、なぜか「予想できる」と思い、結果に「意外だ」という人が増えてしまう。

あるいは、307人の結果がこうだったから、307人を含む様々な集団の傾向も同様だろうと考えてしまう。1人の結果なら、そんな勘違いをしないだろうに。

これが、私がブコメで注意を促した錯誤です。

追記（2017-08-14 02:26:47）

私は最初から「人はなぜ予想できるのか」という枠組で話をしているわけ。

そもそも破壊屋さんが私のブコメを理解したくて対話が始まっているんじゃないんですか？　それなのに、話をサッパリ理解しようとしない上に、長文なので読んでないとかいう。

私の方は、破壊屋さんの記事に何の疑問も要望もないですよ。

こちらの主張を理解せず、関係ない話をして、反論したつもりになっていらっしゃるな、と思っているだけです。

＊＊＊

母集団の定義をコロコロと変えている

私は「307人は、どんな母集団も代表していないから、307人の投票結果を予想するなど不可能だ」といっている。「307人は何らかの定義による母集団から偏りなく抽出されたサンプルだ」と仮定しない限り予想は成り立たないが、その仮定は事実に反する。

……という話に対して、「何らかの定義による母集団」の「何らかの定義」とは何か、きちんと定義しろ、と返す無意味さに、気付いてほしい。

＊＊＊

以前の破壊屋さんの投稿から引用しますが。

『このミス』の母集団はその年のミステリー小説です。その母集団からベストを決めます。同様に『キネ旬ベスト・テン』の母集団はその年の映画です。これが母集団の考え方です。

これも異論ないですよ。ただ私の話とは関係ないだけです。

307人の投票結果を「意外」といっている人は、307人の投票結果について意外だといっているのです。それはつまり、「307人が、自分が思っていたような307人ではなかった」ということです。

307人は、「#90年代映画ベスト」をつけて投稿した307人です。でも、それだけでは、投票結果は予想しようがない。

だから「#90年代映画ベスト」をつけて投稿するのは「おそらく＊＊＊な人たちだ」と予想し、ならば投票結果はこうなるだろう……と考えるわけです。（この「＊＊＊な人たち」は、予想をする人毎に異なるので、私が一意に定義することはできない）

しかし、仮に「307人は＊＊＊な人たち」という予想は当たっていても、307人が「＊＊＊な人たち」から偏りなく抽出されたサンプルである保証は、何もない。

だから結局、『覇王別姫』を高く評価する人が多くても少なくても「意外」ではなく、ありうる偏りの範疇に過ぎません。

……というのが私の話であって、母集団という言葉は、「307人はどんな人たちか」という予想に関する話の中で出てくるわけ。

先に引用したような記述が、私の主張と全く関係ないことが、伝わるとよいのですが。

追記（2017-08-14 02:31:55）

補足すると、願望はあるけど要望はない。「伝わればいいな」とは思っているけど、「伝わらなくてもいいや」とも思う。

あと、疑問がないというのは、「回答がほしい疑問はない」という意味。疑問自体はたくさんあるが、別に質問したいと思わない。

（はてなハイクより転載）