残差の高い正の尖度は正確に問題になる可能性があると聞いたことがあります(申し訳ありませんが、テキストへのリンクを提供できません。仮説検定と信頼区間(したがって、統計的推論の問題)これは本当ですか?もしそうなら、なぜですか?残差の高い正の尖度は、残差の大部分が0の残差平均に近く、したがってそれほど大きくないことを示しませんか?残差は存在しますか?(答えがある場合は、数学的にあまり傾いていないので、あまり詳細な数学ではない答えを出してみてください)。
コメント
- 正規(ガウス)誤差項の理想的な条件を持つモデルに焦点を当てていると思います。 (他の多くの状況では、残余の高い尖度が予想されます。)高い尖度は、分布が通常よりも太いことを意味する可能性が高いため、非常に高い(+または-)残差があります。ゼロに近いものがたくさんあるとしても、それは良いニュースに過ぎず、注意が必要なのは悪いニュースの可能性です。しかし、順番に、それは何かを意味する可能性があります。残余対近似プロットは通常、より有益です。
- 実際、私は正規性の仮定を持つモデルに焦点を合わせていました。
回答
残余の高い正の尖度は、正確な仮説検定と信頼区間(したがって統計的問題)にとって問題になる可能性があることを聞きました[…]推論)。これは本当ですか?もしそうなら、なぜですか?
ある種の仮説検定では、それは真実です。
残差の高い正の尖度は、残差の大部分が残差の平均0に近く、したがってそれほど大きな残差が存在しないことを示していませんか?
いいえ。
「あなたは」分散の概念を尖度の概念と混同しているようです。分散が小さければ、より小さな残差とより少ない大きな残差への傾向が一緒になります。尖度を変更する間、標準偏差を一定に保つと想像してください(したがって、「分散ではなく尖度への変更について確実に話します)。
異なる分散を比較します(ただし、同じ尖度):
尖度は異なりますが、分散は同じです。
(
この投稿)
尖度が高いと、多くの場合、平均からの偏差が小さくなります $ ^ \ ddagger $ -正規分布で見つけるよりも小さい残差..ただし、標準偏差を同じ値に保つには、より多くの大きい残差も必要です。 (残差が小さいほど、平均からの一般的な距離が小さくなるため)。大きな残差と小さな残差の両方をより多く取得するには、「標準サイズ」の残差を少なくします。平均から約1標準偏差離れた残差です。
$ \ ddagger $ 「小ささ」をどのように定義するかによって異なります。単純に大きな残差をたくさん追加して分散を一定に保つことはできません。それを補正するための何かが必要です。ただし、「小さい」という与えられた測定値については、尖度を増やすことなく増やす方法を見つけることができます。その特定の測定値。(たとえば、尖度が高いからといって、自動的にピークが高くなるわけではありません)
尖度が高いほど、分散を一定に保った場合でも、残差が大きくなる傾向があります。
[さらに、場合によっては、小さな残差の集中は、実際には、最大の残差の追加の割合よりも多くの問題を引き起こす可能性があります-あなたが見ているものによっては。]
とにかく、例を見てみましょう。 1サンプルのt検定と10のサンプルサイズを考えます。
t統計量の絶対値が2.262より大きいときにヌル仮説を棄却すると、観測値が独立している場合、同じように正規分布から分布し、仮定された平均が真の母集団平均である場合、5%の確率で帰無仮説を棄却します。
通常よりも尖度が大幅に高い特定の分布を検討します:75%私たちの人口の50%は正規分布から抽出された値を持ち、残りの25%は50倍の標準偏差を持つ正規分布から抽出された値を持っています。
正しく計算した場合、これは尖度に対応します。 12(9の過剰尖度)。結果として得られる分布は、正規分布よりもはるかにピークに達し、裾が重くなります。密度を下の正規密度と比較します。高いピークを確認できますが、左の画像では実際には重い裾を確認できないため、密度の対数をプロットしました。これは、の下部を伸ばしています。画像と上部を圧縮して、山と裾の両方が見やすくなります。
pan class = “を使用して「5%」の1サンプルt検定を実行した場合の、この分布の実際の有意水準math-container “> $ n = 10 $ は0.9%未満です。これはかなり劇的で、電力曲線をかなり大幅に引き下げます。
(また、実質的な効果が見られます。信頼区間の範囲。)
同じクルトシスを持つ異なる分布は、有意水準に異なる影響を与えることに注意してください。
では、なぜ棄却されるのでしょうか。レートが下がる?これは、テールが重いといくつかの大きな外れ値が発生し、平均よりも標準偏差にわずかに大きな影響を与えるためです。これは、-1から1の間のt値が増えるため、t統計量に影響します。その過程で、臨界領域の値の割合を減らします。
平均が仮定された平均をわずかに上回っている正規分布からのものとかなり一致しているように見えるサンプルを取得した場合、重要な場合は、観測値を平均よりも最も上に移動し、さらに引き離します(つまり、平均を $ H_0 $ よりもさらに大きくします)。 t統計量を小さくします。
お見せしましょう。ここに「サイズ10のサンプル:
1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23
$ H_0:\ mu =に対してテストしたいとします。 2 $ (1サンプルのt検定)。ここでのサンプルの平均は2.68であり、サンプルの標準偏差は0.9424であることがわかります。2.282のt統計値が得られます。 5%の検定(p値0.0484)。
ここで、その最大値を50にします。
1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50
明らかに平均値を引き出します。だから、それは以前よりもさらに違いを示すはずですよね?まあ、いや、そうではありません。 t統計量は下がる。現在は1.106であり、p値は非常に大きくなっています(30%近く)。何が起こった?さて、平均を引き上げました(7.257まで)が、標準偏差は15を超えました。
標準偏差は、平均よりも外れ値に少し敏感です。外れ値を入力すると、 1サンプルのt統計量を1または-1に近づける傾向があります。
複数の外れ値の可能性がある場合、ほとんど同じことが起こりますが、反対側にある場合もあります(この場合、標準偏差はさらに大きくなり、平均への影響は1つに比べて減少します)外れ値)、したがって、t統計は0に近づく傾向があります。
同様のことが、正常性を前提とする他の多くの一般的なテストで続行されます。つまり、より高いクルトシスはより重い尾に関連付けられる傾向があります。より多くの外れ値。これは、標準偏差が平均に比べて膨らむことを意味します。そのため、取得したい差異は、テストへの外れ値の影響によって「圧倒」される傾向があります。つまり、低電力です。
コメント
- 非常に明確で精巧な回答をありがとうございました。お時間をいただき、ありがとうございました。
- また、注目に値します。サンプル平均の大規模サンプル分布は、クルトシスに依存しません(したがって、正常性の実際の有意水準-平均の変換を仮定したテストn- >無限大(すべての有限尖度の場合)として、公称レベル(通常は.05)になりますが、分散の検定には同じことが当てはまりません。推定された分散の大規模なサンプル分布は尖度に依存するため、分散の古典的な正規性を仮定した検定の実際の有意水準は、n- >のように名目レベルに収束しません。尖度がゼロと異なる場合は無限大。
- また、尖度が高いからといって、数学的には、平均からの偏差が”小さいことを意味するわけではありません。”確かにわかるのは、テールにもっとあるということだけです。
- これ以上大きな偏差を取得して分散を一定に保つことはできません
- @Peter Let ‘は$ Zを取ります標準化された$ X $としての$。尖度は$ \ kappa = E(Z ^ 4)$であり、$ \ sqrt {\ kappa-1} = E(Z ^ 2)$は$ \ kappa $で単調です。確率を$ Z $の末尾にさらに移動すると、ある程度の確率が平均に向かって移動する必要があります(または、’が$ \ text {Var}(Z)= 1 $を保持できません)。同様に、確率を$ X $ &の末尾にさらに移動すると、分散が増加し、$ \ mu \ pm k \ sigma $が広くなり、少なくともいくつかの値について残りのディストリビューションの$ k $は、これらの範囲内に収まる傾向があります。新しい$ X $($ X ‘ $を$ Z ‘ $と言う)を標準化すると、その値はさらに小さくなります。直接的な意味。
i>さらに小さな偏差を加えない限り; ‘分散を一定に保たない場合、新しいスケールに比べて偏差が小さくなります。そうです、尖度を見ると、数学は、尖度が大きいほど小さくなります。
回答
尖度は外れ値を測定します。外れ値は、正規分布に基づく標準的な推論(t検定、t間隔など)では問題があります。これで話は終わりです!そして、それは本当に非常に単純な話です。
この話があまり評価されない理由は、尖度が「ピーク」を測定するという古代の神話が続いているためです。
尖度が「ピーク」ではなく外れ値を測定する理由を示す簡単な説明です。
次のデータセットを検討してください。
0、3、4、1 、2、3、0、2、1、3、2、0、2、2、3、2、5、2、3、1
尖度は(z値の期待値です)^ 4。 (z値)^ 4は次のとおりです。
6.51、0.30、5.33、0.45、0.00、0.30、6.51、0.00、0.45、0.30、0.00、6.51、0.00、0.00、0.30、0.00、 27.90、0.00、0.30、0.45
平均は2.78であり、これは尖度の推定値です。 (過剰な尖度が必要な場合は3を引きます。)
ここで、最後のデータ値を999に置き換えて、外れ値にします:
0、3、4、1、2、3 、0、2、1、3、2、0、2、2、3、2、5、2、3、999
ここで、(z値)^ 4:
0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、0.00、360.98
平均は18.05であり、これは尖度の推定値です。 (過剰な尖度が必要な場合は3を引きます。)
明らかに、外れ値のみが重要です。 「ピーク」や中間付近のデータについては何も重要ではありません。
2番目のデータセットを使用して標準的な統計分析を実行する場合は、問題が発生する可能性があります。大きな尖度は問題を警告します。
これは詳細な論文です:
Westfall、P.H。 (2014)。尖度としての尖度、1905〜 2014年。R.I.P。アメリカの統計学者、68、191–195。
コメント
- ノンパラメトリック検定を使用しないのはなぜですか?これらのタイプの問題については、それらが優れている可能性があります。
- 同意しました。テストが好きな場合は、それが可能性のある方法です。しかし、それは私の関心事ではありません。私は一般的に確率論的モデリングにもっと興味があります。 1つのアプリケーション:平均に本当に興味があるかもしれません。たとえば、従属変数が獲得したドルである場合、プロセスの平均はプロセスの中央値よりも興味深いものです。では、データが外れ値になりやすい場合、データはプロセスについて何を意味するのでしょうか? ‘は難しい問題ですが、重要な問題であり、瞬間尖度が答えに関連しています。ノンパーテストではありません。
- コーシー分布の場合、トリム平均は中央値よりも位置のより良い尺度になる可能性があり、通常の平均は位置の尺度ではありません。場所の尺度として何を使用するかは、分布が何であるかによって異なります。尖度が指標として役立たない例は、平均極値が中央値と平均の両方よりも位置のより良い尺度である一様分布です。
- ポイントではありません。ドルなどの合計に関心がある場合、通常の平均は必要な場所の尺度です。
- コーシー分布変数がある場合は、獲得した合計ドルを主張できますが、平均値は、場所の特に有用な測定値ではありません。つまり、”期待値”には合理的な期待値が関連付けられていません。
回答
尖度は尾が非対称であることも示します。両側仮説検定では、一方のテールがロングテールになり、もう一方のテールがショートテールになります。テールの1つは>アルファである可能性がありますが、<ベータです。一方のテールはp値を渡しますが、もう一方はパスしません。
基本的に、統計的推論は標準正規分布を前提としています。これが標準正規分布でない場合は、より高度な推論メカニズムに基づいた推論でうまくいく可能性があります。ポアソン推論を使用できる場合がありますが、正規分布ではないため、法線に基づく推論を使用することはできません。
スキューと尖度は、非正常性の尺度です。正規性をテストする必要があることを知る前に、手段を取り、正規分布を使用することを学びます。法線には、各次元から36以上のデータポイントが必要です。 20個のデータポイントで推定できますが、それでもスキューと尖度があります。分布が正規に近づくと、スキューと分布はなくなります。
説明の1つは、尖度を尖度と定義しました。別の人はしませんでした。これは現時点では未解決の戦いです。尖度は4番目の瞬間、領域です。私は問題のピークがないことに取り組んでいます。
そこにあるもう1つのアイデアは、スキューがあると、中央値が三角形を形成するモードに傾くというものです。お楽しみください。
コメント
- ‘これにより、すでに優れた回答とは異なる有用なものが追加されることは明らかではありません。いくつかの不可解なステートメントが追加されます。例:”通常は36以上のデータポイントが必要です”(つまり、35はOKではありませんか?この主張の根拠は何ですか?”歪度をピークとして”誰もこれを主張しているとは思わない’。”統計的推論は、標準的な正規値を想定しています”:一般的ではありません。クルトーシスは4番目の瞬間、領域:いいえ、ここで定義されているクルトーシスは、に基づく無次元の比率です。平均についての4番目と2番目のモーメント。
- 4番目のモーメントは整数であるため、領域です。その領域の変換方法尖度や曲率に陥ったことは私には失われます。
- 尖度の典型的な説明は尖度ですが、それは私の見解では間違っています。’ ‘元の応答を編集して、尖度が尖度であると言うように歪度を変更します…ありがとうございます。
- 尾は対称ではありません。 ‘非対称テールを考慮した統計的推論については何も見たことがありません。より多くのデータポイントが収集されると尾が動くため、尖度のリスクが発生します。スキューと尖度は、標準正規分布を達成するのに十分なデータがないことです。
- そうではありません。指数分布、ガンマ分布、ワイブル分布、および正規分布ではない他の多くの分布について、理論と応用がたくさんあります。 。