無作為抽出

一部を調べて全体を推し量るという考え自体は、古くからあった。17世紀のロンドンでは、ジョン・グラントが教区の死亡表から人口や死因の傾向を読み取った（死亡表と統計のはじまり）。1802年にはフランスのラプラスが、出生の記録が整った一部の地域で人口と出生数の比を求め、それに全国の出生数を掛けて、フランスの人口を見積もった。1895年、ノルウェーの統計局長アンデシュ・キエールは、国際統計協会の会議で「代表法」を提案した。全体の縮図になるように対象を選んで調べれば、全部を数えなくても済む、という主張である。

この提案は、すぐには受け入れられなかった。国際統計協会では何度も論争になり、一部を見て全体を語るのは推測にすぎない、という反論が根強かった。弱点ははっきりしていた。選んだ一部がどれだけ全体からずれているかを、数字で言うことができない。代表的に選んだと、選んだ本人が言うだけで、その判断が正しいかどうかを外から確かめる手段が無かった。全部を数える国勢調査が、統計の王道とされ続けた（最初の国勢調査）。

この問題に決着をつけたのが、イェジ・ネイマン（1894〜1981年）である。ポーランド系の家に生まれ、ロシア帝国のベッサラビア（いまのモルドバ）のベンデルで育った。ハリコフの大学で数学を学び、ロシア革命とポーランド・ソヴィエト戦争の混乱の中で、敵国の人間として一時拘束されたこともある。その後ポーランドに移ってワルシャワで統計の仕事に就き、1920年代にはロンドンでカール・ピアソンのもとでも学んだ。1934年にはロンドン大学ユニヴァーシティ・カレッジに職を得ていた。

1934年6月19日、ネイマンは王立統計学会で論文を読み上げた。題は「代表法の二つの異なる側面について」。副題が示すとおり、層化抽出法と有意選択法という二つのやり方を比べた論文である。有意選択法とは、調べる人が全体の縮図になりそうな対象を意図して選ぶ方法で、当時のイタリアの調査で使われていた。ネイマンはその調査の結果が大きく外れていたことを示し、このやり方を理論の面からも退けた。

要点は一つである。対象の選び方に確率が入っていなければ、推定の誤差の幅は計算できない。母集団の一人一人に選ばれる確率があり、その確率が分かっていること。確率は全員に等しくなくてもよいが、分かっていなければならない。この条件がそろえば、推定値がどの範囲に入るかを、たとえば「この幅の中に95％の確かさで入る」という形で言えるようになる。ネイマンはこの論文の中で、のちに信頼区間と呼ばれる考え方を示している。

論文は、層化抽出という方法も整理した。母集団を年齢や地域や職業などの層に分け、それぞれの層から決めた数を無作為に抜き出す。同じ数の標本でも、層に分けたほうが精度は上がる。どの層から何人抜けばよいかについても、ばらつきの大きい層から多く採るという配分の式を示した。この配分は、のちにネイマン配分と呼ばれるようになる。もっとも、同じ式はそれ以前にロシアの統計学者チュプロフが導いていたことが、のちに知られている。

この論文は、標本調査という分野の土台になった。二年後の1936年、アメリカの大統領選で、大量の回答を集めた雑誌の予測が外れ、少ない標本でも選び方に気を配った調査が当たる（リテラリー・ダイジェストの失敗、少ない標本で当てる）。各国の統計局も確率にもとづく抽出を取り入れた。アメリカでは失業の実態をつかむための標本調査が1940年に始まり、いまの人口動態調査につながった。同じ年の国勢調査では、全員に聞く項目とは別に、一部の人にだけ詳しく尋ねる項目が設けられた（全部は数えない）。インドではマハラノビスが独自に似た方法を育て、農作物の収穫の見積もりなどに使った。

この考え方には、直感に反する点がある。標本は多いほど良い、とよく言われるが、それは半分しか正しくない。偏りの無い選び方をしていれば、標本を増やすほど精度は上がる。しかし選び方に偏りがあれば、いくら数を増やしても偏りは消えず、間違った答えに自信を持つだけになる。また、必要な標本の大きさは、母集団の大きさにほとんど左右されない。1億人の国でも1万人の町でも、同じ精度を求めるなら、ほぼ同じ数の標本で足りる。スープの味見に鍋の大きさは関係ない、ただしよくかき混ぜてあれば、という比喩がよく使われる。かき混ぜることに当たるのが、無作為に選ぶことである。

いま、この前提が揺らいでいる。電話による世論調査では、かつては多くの人が応じていたが、21世紀に入って回答率は大きく下がり、1割を下回ることも珍しくない。固定電話を持たない人が増え、知らない番号には出ない人が増えた。すると、答えた人が母集団の縮図ではなくなる。調査する側は、少ない層の回答を重く数える重み付けで補正するが、その補正の設計しだいで結果が動く。2016年のアメリカ大統領選などで世論調査の外れが問題になったのは、その一例である（調査が当たらない）。

インターネット調査の多くは、自分から参加した人の答えであって、確率にもとづく抽出ではない。そのため、ネイマンの理論をそのまま当てはめることはできず、別の枠組みが研究されている。選ばれる確率が分かっていること、という90年前の条件は、いまも標本調査の要であり続けている。そして、それを満たすことが年々難しくなっている。