外挿の何が問題になっていますか？

外挿、つまり外部にある入力への応答を予測するために、回帰モデルがよく使用されます。モデルの適合に使用される予測変数の値の範囲。次の図に、外挿に関連する危険性を示します。

この xkcdコミックで説明されていますすべて。

mg src = “https://i.stack.imgur.com/4QwTj.png” alt = “xkcdコミック” title = “第三学期には、あなたの中に何百人もの赤ちゃんがいるでしょう。 “>

キューボール（棒を持った男）が持っているデータポイントを使用して、彼は女性が「4ダース」になると推定しました「夫は来月末までに、この外挿法を使用して、ウェディングケーキをまとめて購入するという結論に至りました。

編集3：「彼には十分なデータポイントがない」と言う人のために、彼はre “s 別のxkcdコミック：

mg src =” https://i.stack.imgur.com/7oDyK.png “alt =” xkcdコミック “title =” 100年は私たちの多くのリソースよりも長いですが。 “>

ここでは、時間の経過に伴う「持続可能な」という単語は片対数プロットに表示され、データポイントを外挿すると、「持続可能な」という単語が将来発生する頻度の不合理な推定値を受け取ります。

編集2：「過去のすべてのデータポイントも必要です」と言う人のために、さらに別のxkcdコミック： mg src = “https://i.stack.imgur.com/JTTW1.png” alt = “xkcdコミック” title = “2031：Googleは旋回を防御ストリートビュー車の屋根に取り付けられた走査型電子顕微鏡は、’ ‘できなかったものを明らかにしないと言っています’電子顕微鏡で家をスキャンしている歩行者には見えません。”>

ここには過去のデータポイントがすべてありますが、の解像度を正確に予測することはできません。グーグルアース。これも片対数グラフであることに注意してください。

編集：場合によっては、最強のグラフでも（この場合はr = .9979）相関関係はまったく間違っています。

他の裏付けとなる証拠なしに外挿した場合、相関関係にも違反していることは因果関係を意味しません。統計の世界におけるもう1つの大きな罪。

ただし、XをYで外挿する場合は、が正確に（満たすのに十分）できることを確認する必要があります。要件）Xをのみ Yで予測します。ほとんどの場合、Xに影響を与える以外にも複数の要因があります。

_{I Nassim NicholasTalebの言葉で説明している別の回答へのリンクを共有したいと思います。}

コメント

• xkcdには、発生する可能性のあるすべての数学/統計の問題についてのジョークがあります。’ではありませんか？
• このアイデアは、補間に反対する議論としても使用できます：”昨夜は0.5人の夫がいました”。
• @JiK彼女が今持っているということだけを知っていて、2日前に持っていなかったとしたら、それは悪い見積もりではありません;-)
• 持続可能な持続可能な持続可能な持続可能な持続可能な持続可能な持続可能な持続可能な。 en.wikipedia.org/wiki/ …
• もっとxkcd、人々！

“予測は非常に困難です。 ■将来について”。引用は何らかの形で多くの人々に起因しています。次のように制限します”外挿”から”既知の範囲外の予測”、および1次元の設定では、既知の過去から未知の未来への外挿。

外挿の何が問題になっていますか。まず、過去のモデルを作成するのは簡単ではありません。次に、過去のモデルを使用できるかどうかを判断するのは困難です。将来のために。両方の主張の背後には、因果関係またはエルゴード性、説明変数の十分性など、ケースに大きく依存します。間違っているのは、多くの追加情報がなければ、さまざまなコンテキストで正常に機能する単一の外挿スキームを選択することが難しいことです。

この一般的な不一致は、以下に示すアンスコムのカルテットデータセット。線形回帰は、（ $ x $ -座標範囲外の）外挿のインスタンスでもあります。同じ線が、同じ標準統計で4セットの点を回帰します。ただし、基礎となるモデルはまったく異なります。最初のモデルは非常に標準的です。 2番目はパラメトリックモデルエラー（2次または3次多項式の方が適している可能性があります）、3番目は1つの値（外れ値？）を除いて完全な適合を示し、4番目は滑らかな関係の欠如（ヒステリシス？）です。

ただし、予測はある程度修正できます。他の回答に加えて、いくつかの要素が実用的な外挿に役立ちます。

1. サンプルに重みを付けることができます必要な場所 $ p $ までの距離（インデックス $ n $ ）に応じて外挿する。たとえば、増加する関数 $ f_p（n）$ を使用します（ $ p \ ge n $ を使用） 、指数加重または平滑化、またはサンプルのスライディングウィンドウなど、古い値の重要性を低くします。
2. 複数の外挿モデルを使用して、それらを組み合わせることができますまたは最適なものを選択します（予測の組み合わせ、J。スコットアームストロング、2001）。最近、それらの最適な組み合わせに関する多くの作業がありました（必要に応じて参照を提供する場合があります）。

最近、シミュレーションの通信の値を推定するプロジェクトに参加しました。リアルタイム環境のサブシステム。この領域の教義は、外挿が不安定性を引き起こす可能性があるということでした。実際、上記の2つの要素を組み合わせると、目立った不安定さはなく、非常に効率的であることがわかりました（正式な証明はまだありません： CHOPtrey：マルチコア協調シミュレーションを強化するためのコンテキストオンライン多項式外挿複雑なシステム、シミュレーション、2017年）。また、外挿は単純な多項式で機能し、計算負荷は非常に低く、ほとんどの演算は事前に計算されてルックアップテーブルに格納されます。

最後に、外挿は面白い描画を示唆しているため、以下は逆方向です。線形回帰の効果：

コメント

• +1いい答えです。 このウェブサイトによると、ボーアがそれを言った可能性は低いようです。珍しいが一般的なデンマークのことわざである可能性が高いようです。
• @usεr11852彼が”と言ったことはありません”？そのため、”属性”と言ったのですが、もっと注意する必要がありますか？
• これまでの部分。私がこのコメントをしたのは、そのことわざがデンマークのことわざである可能性がはるかに高いことを考えると、それを特定の（非常に象徴的な）デーンに帰するのは少し過剰請求のようです-特にボーアがそれを言った記録がないことを考えると。元の作者は、明日’の漁獲量についてコメントしている、名前のない漁師である可能性があります。私はここの小さな男を応援しています！ ：D
• 過去の引用の凡例もモデル化するのは非常に困難です。
• 確かに質問には両方の単語が使用されています。要点は、”かどうかです。予測”は”外挿の形式と見なす必要があります。”紹介によるとコメントでは、外挿を過去を使用して”未来をモデル化するものとして定義しているようです。”それぞれの明確で明確な定義を提供するまで、あなたの答えは誤解される可能性があります。

モデルの適合性は「良い」かもしれませんが、 “、データの範囲を超える外挿は、懐疑的に扱う必要があります。その理由は、多くの場合、外挿は（残念ながら不可避的に）観察されたサポートを超えたデータの動作に関するテスト不可能な仮定に依存しているためです。

外挿する場合は、次の2つの判断を行う必要があります。まず、定量的な観点から。 、データの範囲外のモデルはどの程度有効ですか？第2に、定性的な観点から、観測されたサンプル範囲の外側にあるポイント$ x_ {out} $が、サンプルに対して想定する母集団のメンバーである可能性はどの程度ありますか。どちらの質問にもある程度のあいまいさが伴うため、外挿もあいまいな手法と見なされます。これらの仮定が成り立つことを受け入れる理由がある場合、通常、外挿は有効な推論手順です。

追加の注意点は、多くのノンパラメトリック推定手法では、ネイティブに外挿が許可されていないことです。この問題は、フィットしたスプラインを固定するノットがなくなったスプライン平滑化の場合に特に顕著です。

外挿は悪からほど遠いことを強調しておきます。たとえば、統計で広く使用されている数値手法（たとえば、 Aitkenのデルタ二乗プロセスや Richardson ” ■外挿）は、基本的に、観測データに対して分析された関数の基本的な動作が関数のサポート全体で安定しているという考えに基づく外挿スキームです。

コメント

• Wynn $ \ varepsilon $（Aitken $ \ Delta ^ 2 $の計算上有用な一般化）とRichardson外挿のセーフガードを作成することも可能ですが、これらの基礎となる仮定が発生する可能性があります。アルゴリズムは、与えられたシーケンスではあまり満足されません。出所が不確かなシーケンスでこれらの外挿法を使用する場合、十分にパラノイドは通常、テストのためにこれらの収束加速法を2つ以上手元に置いており、次の場合にのみ結果を信頼します。これらの概念的に非常に異なる方法のうちの少なくとも2つは一致します

他の回答とは異なり、何も問題はないと思います。それが無意識に使用されない限り、外挿で。まず、外挿はであることに注意してください：

元の値を超えた、推定のプロセス観測範囲、別の変数との関係に基づく変数の値。

…したがって非常に広義で、単純な線形外挿から線形回帰、多項式回帰、またはいくつかの高度な時系列予測方法に至るまで、さまざまな方法がそのような定義に適合します。実際、外挿、予測、予測は密接に関連しています。統計では、多くの場合 予測と予測。これは、参照するリンクの内容でもあります。

統計の初日から次のように教えられています。外挿は大したことではありませんが、それがまさに予測です。

多くの外挿法は予測を行うために使用されます。さらに、いくつかの単純な方法は、小さなサンプルで非常にうまく機能するため、推奨される場合がありますその後、複雑なもの。問題は、他の回答で指摘されているように、外挿法を不適切に使用した場合です。

たとえば、多くの研究では、西欧諸国では性的印心の年齢が時間とともに減少することが示されています。米国での最初の性交の年齢についての以下のプロットを見てください。線形回帰を盲目的に使用して最初の性交の年齢を予測した場合、数年でゼロを下回ると予測されます（最初の結婚と最初の出産は死後のある時点で発生します）…ただし、 1年先の予測であれば、線形回帰はトレンドのかなり正確な短期予測につながると思います。

（ソース guttmacher.org ）

もう1つの優れた例は、完全に異なるドメインからのものです。これは、以下に示すように、MicrosoftExcelによって実行されるテストのために”を外挿するためです。 （これがすでに修正されているかどうかはわかりません）。この画像の作者はわかりません。ジフィからのものです。

すべてのモデルが間違っています、外挿正確な予測を行うことができないため、これも間違っています。他の数学的/統計的ツールと同様に、おおよその予測を行うことができます。それらがどれほど正確であるかは、問題に適した方法を使用したデータの品質、モデルの定義時に行った仮定、およびその他の多くの要因によって異なります。しかし、これはそのような方法を使用できないという意味ではありません。可能ですが、それらの制限について覚えておく必要があり、特定の問題について品質を評価する必要があります。

コメント

• 回帰に使用するデータが1980年代初頭に終了した場合、その日付を超えて外挿が機能する期間を簡単にテストできます。
• @gerrit同意しますが、残念ながら、’適切なデータを見つけることができませんでした。しかし、誰かが私にそれを指摘することができれば、私は’そのような比較のために私の答えを更新して喜んでいます。
• この場合、外挿は失敗します。ファーストセックスの年齢は過去数年で急上昇しました。 （ただし、このデータは、明らかな理由から、常に誕生年より数十年遅れています。）

Nassim Talebの例（Bertrand Russellによる以前の例を応用したもの）がとても気に入っています：

七面鳥を考えてみましょう。毎日給餌。政治家が言うように、すべての餌は、「最善の利益を探している」人類の友好的なメンバーによって毎日餌を与えられることが日常生活の一般的なルールであるという鳥の信念を固めるでしょう。感謝祭の前の水曜日に、七面鳥に予期しないことが起こります。それは信念の修正を招きます。

いくつかの数学的な類似物は次のとおりです。

• 関数の最初のいくつかのテイラー係数の知識は、後続の係数が推定パターンに従うことを常に保証するわけではありません。

• の知識微分方程式の初期条件は、その漸近的振る舞いの知識を常に保証するわけではありません（たとえば、ローレンツの方程式、いわゆる「バタフライ効果」に歪むことがあります）

これは、この問題に関するすばらしい MOスレッドです。

コメント

• …そしてもちろん、タレブは道徳的な教訓を指摘する必要があります： ” don ‘七面鳥にならない”！このコンテキストでは：don ‘不注意な外挿者ではなく、’傲慢の罪に屈しないでください。
• @uoɥʇʎPʎzɐɹC、私は’それを求めませんが、ありがとうございます！
• ‘相互検証された評判を実際に使用することはできません-そして、誰もあなたの答えを見ませんでしたそれは本当に良かったです。楽しんでください！

よろしければ、次の話を考えてみてください。

Iまた、統計コースに座ったことを覚えておいてください。教授は、外挿は悪い考えだと言っていました。それから次のクラスで彼は私たちにそれはまた悪い考えだと言った。実際、彼はそれを2回言いました。

私は学期の残りの間病気でしたが、先週までに男は確かに持っていたに違いないので、私は多くの資料を見逃すことはできなかったと確信していました外挿がいかに悪い考えであるかを何度も何度も人々に伝える以外に何もしていませんでした。

不思議なことに、私は試験であまり高いスコアを出しませんでした。

コメント

• 質問は”外挿の何が問題になっていますか？”です。外挿が悪い考えである理由を説明する回答を探しています。
• @RobertLong：’は実際には一種のメタ/ジョークの回答であり、 xkcd.com/605 と非常によく似ていますが、回答よりもコメントの方が良いかもしれません。
• @NeilSlater：投稿する必要があります答えとしてのあなたのコメント… 🙂
• @RobertLong：これはそのような答えです。それは単にたとえ話の形をしています。
• モデルが指数関数的であるかどうかは明らかではありません。

質問は統計的であるだけでなく、認識論的でもあります。外挿は、自然について学ぶ方法の1つであり、誘導の形式です。 。摂氏0度から20度の範囲の温度範囲での材料の電気伝導率のデータがあるとしましょう。摂氏40度での伝導率について何が言えますか？

それは小さいことと密接に関連しています。サンプルの推測：小さなサンプルで行われた測定から、母集団全体について何が言えるでしょうか？これは、ギネスとしてのゴセットによって開始されました。彼はスチューデントのt分布を考え出しました。彼の前は、統計学者は「サンプルサイズが常に大きくなる可能性があると仮定して、小さなサンプルについて考える必要はありませんでした。彼はギネスにいて、出荷するビールのバッチ全体をどうするかを決めるためにビールのサンプルを処理する必要がありました。」 p>

したがって、実際（ビジネス）、工学、科学では、常に何らかの方法で外挿する必要があります。小さなサンプルを大きなサンプルに外挿したり、限られた範囲の入力条件からより広い条件のセットに外挿したりすることができます。何十億マイルも離れたブラックホールに何が起こったのかなど、加速器で何が起こっているのか。しかし、外挿の推定値と実際の測定値との不一致を研究することで実際に学ぶので、科学では特に重要です。不一致が大きいか一貫している場合の現象。

したがって、外挿に問題はないと言います。これは私たちが毎日しなければならないことです。それは「ただ難しい」です。

外挿自体は必ずしも悪ではありませんが、それは内挿で到達するよりも不合理な結論。

• 外挿は、サンプリングされた領域からかなり離れた値を探索するためによく行われます。 0〜10の100個の値をサンプリングし、少しだけ11に外挿すると、新しいポイントは、どの補間でも取得できるよりもデータポイントから10倍離れている可能性があります。これは、変数が手に負えなくなるためのはるかに多くのスペース（定性的に）。意図的にマイナーな外挿のみを選択したことに注意してください。悪化する可能性があります
• 外挿は、外挿を行うことを目的としたカーブフィットを使用して行う必要があります。たとえば、多くの多項式近似は、サンプリングされた範囲を超えて適切に動作する項が離れると爆発する可能性があるため、外挿には非常に適していません。適切な外挿は、サンプリングされた領域の外側で何が起こるかについての「適切な推測」に依存します。
• 相転移が存在するため、外挿を使用するのは非常に難しいことがよくあります。外挿したいと思うかもしれない多くのプロセスは、サンプリングされた領域にわたって十分に露出されていない明らかに非線形の特性を持っています。音速を中心とした航空学はその良い例です。低速からの多くの外挿は、空中での情報転送の速度に到達してそれを超えると崩壊します。これは、ポリシー自体がポリシーの成功に影響を与える可能性があるソフトサイエンスでも頻繁に発生します。ケインズ経済学は、さまざまなレベルのインフレで経済がどのように振る舞うかを推定し、可能な限り最良の結果を予測しました。残念ながら、二次的な影響があり、その結果は経済的繁栄ではなく、米国が見た中で最も高いインフレ率のいくつかでした。
• 人々は好き外挿です。一般的に言って、人々は本当に誰かが水晶玉を覗き込んで彼らに未来を告げることを望んでいます。彼らは、それが持っているすべての情報であるという理由だけで、驚くほど悪い外挿を受け入れます。これは、外挿自体を悪くすることはないかもしれませんが、それを使用するときに間違いなく説明する必要があります。

究極の外挿については、マンハッタン計画を検討してください。そこでの物理学者は、本物を構築する前に非常に小規模なテストで作業することを余儀なくされました。彼らは単にテストに浪費するのに十分なウランを持っていませんでした。彼らはできる限り最善を尽くし、頭が良かった。しかし、最終テストが行われたとき、各科学者は、爆風が爆発したときに、爆風からどれだけ離れたいかを決定することが決定されました。すべての科学者が自分たちのテストからかなり遠くに外挿していることを知っていたため、「安全」な距離については実質的な意見の違いがありました。彼らが核爆弾で大気を燃やすかもしれないという重要な考慮さえありました、問題はまたかなりの外挿で休まされました！

ここにはたくさんの良い答えがあります。問題の核心と思われるものを統合してみたいと思います。推定サンプルを生み出したデータ生成プロセスを超えて外挿するのは危険です。これは「構造変化」と呼ばれることもあります。

予測には前提条件があります。主なものは、データ生成プロセスがサンプルを生成したプロセスと同じであるということです（rhs変数を除きます。モデルで明示的に説明します）。構造的な変化が発生した場合（つまり、タレブの例では感謝祭）、すべての賭けは無効になります。