Co jest złego w ekstrapolacji?

Model regresji jest często używany do ekstrapolacji, tj. przewidywania odpowiedzi na dane wejściowe, które znajdują się poza zakres wartości zmiennej predykcyjnej użytej do dopasowania modelu. Niebezpieczeństwo związane z ekstrapolacją przedstawiono na poniższym rysunku.

Ten komiks xkcd wyjaśnia to all.

mg src = „https://i.stack.imgur.com/4QwTj.png” alt = „xkcd comic” title = „Według w trzecim trymestrze będą w tobie setki dzieci. „>

Korzystając z punktów danych, które posiada Cueball (mężczyzna z kijem), ekstrapolował, że kobieta będzie miała„ cztery tuziny „mężów do końca przyszłego miesiąca i wykorzystałem tę ekstrapolację, aby doprowadzić do wniosku o hurtowym zakupie tortu weselnego.

Edycja 3: Dla tych z Was, którzy mówią, że „on nie ma wystarczającej liczby punktów danych”, on re „s inny komiks xkcd :

mg src =” https://i.stack.imgur.com/7oDyK.png „alt =” komiks xkcd „title =” Chociaż 100 lat to więcej niż wiele naszych zasobów. „>

W tym przypadku użycie słowo „zrównoważony” w czasie jest pokazane na wykresie półlogarytmicznym, a ekstrapolując punkty danych otrzymujemy nieracjonalne oszacowanie częstotliwości występowania słowa „zrównoważony” w przyszłości.

Edycja 2: Dla tych z Was, którzy mówią: „Potrzebujesz też wszystkich poprzednich punktów danych”, jeszcze jeden komiks xkcd: mg src = „https://i.stack.imgur.com/JTTW1.png” alt = „xkcd comic” title = „2031: Google broni obrotu skaningowe mikroskopy elektronowe montowane na dachu w samochodach Street View twierdzą, że ' nie ' nie ujawniają niczego, co nie mogłoby ' nie zostanie zauważony przez żadnego przechodnia skanującego dom mikroskopem elektronowym.”>

Tutaj mamy wszystkie dane z przeszłości, ale nie udało nam się dokładnie przewidzieć rozdzielczości Google Earth. Zwróć uwagę, że jest to również wykres półlogowy.

Edytuj: Czasami nawet najsilniejszy z (r = .9979 w tym przypadku) korelacje są po prostu błędne.

Jeśli ekstrapolujesz bez innych potwierdzających dowodów, jednocześnie naruszasz korelację nie implikuje związku przyczynowego ; kolejny wielki grzech w świecie statystyki.

Jeśli ekstrapolujesz X z Y, musisz jednak upewnić się, że może dokładnie (wystarczająco Twoje wymagania) przewidzieć X z tylko Y. Prawie zawsze istnieje wiele czynników niż wpływ X.

_{I chciałbym udostępnić link do innej odpowiedzi , która wyjaśnia to słowami Nassima Nicholasa Taleba.}

Komentarze

• xkcd żartuje o każdym możliwym problemie matematycznym / statystycznym, jaki można napotkać, czyż nie ' nie?
• Ten pomysł równie dobrze mógłby być użyty jako argument przeciwko interpolacji: ” zeszłej nocy miałaś 0,5 męża „.
• @JiK Jeśli wszystko, co wiesz, to to, że ma jeden teraz, a dwa dni temu go nie miała, to nie jest zły szacunek 😉
• Zrównoważony zrównoważony Zrównoważony zrównoważony zrównoważony zrównoważony Zrównoważony zrównoważony. pl.wikipedia.org/wiki/…
• więcej xkcd, ludzie!

” Przewidywanie jest bardzo trudne, zwłaszcza jeśli to jest ” o przyszłości „. Cytat jest przypisywany wielu osobom w jakiejś formie . Ograniczam w dalszej części ” ekstrapolacja ” do ” prognozy poza znanym zakresem ” iw jednowymiarowym kontekście ekstrapolacja ze znanej przeszłości do nieznanej przyszłości.

Więc co jest nie tak w ekstrapolacji. Po pierwsze, nie jest łatwo modelować przeszłość . Po drugie, trudno jest stwierdzić, czy można użyć modelu z przeszłości na przyszłość . Za oboma stwierdzeniami kryją się głębokie pytania o przyczynowość lub ergodyczność , wystarczająca liczba zmiennych objaśniających itp., Które są całkowicie zależne od przypadku. Błędne jest to, że trudno jest wybrać pojedynczy schemat ekstrapolacji, który działa dobrze w różnych kontekstach, bez wielu dodatkowych informacji.

Ta ogólna niezgodność jest wyraźnie zilustrowana w Zbiór danych kwartetu Anscombe pokazany poniżej. Regresja liniowa jest również (poza zakresem $ x $ -coordinate) wystąpieniem ekstrapolacji. Ta sama linia powoduje regresję czterech zestawów punktów z tymi samymi standardowymi statystykami. Jednak podstawowe modele są zupełnie inne: pierwszy z nich jest dość standardowy. Drugi to parametryczny błąd modelu (lepiej pasowałby wielomian drugiego lub trzeciego stopnia), trzeci pokazuje idealne dopasowanie z wyjątkiem jednej wartości (wartość odstająca?), Czwarty to brak gładkich zależności (histereza?).

Prognozowanie można jednak w pewnym stopniu skorygować . Dodając do innych odpowiedzi, kilka składników może pomóc w praktycznej ekstrapolacji:

1. Próbki można zważyć zgodnie z ich odległością (index $ n $ ) do lokalizacji $ p $ , gdzie chcesz ekstrapolować. Na przykład użyj funkcji rosnącej $ f_p (n) $ (z $ p \ ge n $ ) , na przykład wyważanie wykładnicze lub wygładzanie albo przesuwanie okien próbek, aby nadać mniejszą wagę starszym wartościom.
2. Możesz użyć kilku modeli ekstrapolacji i połączyć je lub wybrać najlepsze ( Łączenie prognoz , J.Scott Armstrong, 2001).Niedawno podjęto szereg prac nad ich optymalną kombinacją (w razie potrzeby mogę podać odniesienia).

Ostatnio byłem zaangażowany w projekt ekstrapolacji wartości do komunikacji symulacji podsystemy w środowisku czasu rzeczywistego. Dogmat w tej dziedzinie głosi, że ekstrapolacja może powodować niestabilność. W rzeczywistości zdaliśmy sobie sprawę, że połączenie dwóch powyższych składników było bardzo wydajne, bez zauważalnej niestabilności (jeszcze bez formalnego dowodu: CHOPtrey: kontekstowa wielomianowa ekstrapolacja online dla ulepszonej wielordzeniowej współsymulacji złożone systemy , Simulation, 2017). Ekstrapolacja działała z prostymi wielomianami, przy bardzo niskim obciążeniu obliczeniowym, przy czym większość operacji została wcześniej obliczona i zapisana w tabelach przeglądowych.

Wreszcie, jak sugeruje ekstrapolacja zabawnych rysunków, poniżej efekt regresji liniowej:

Komentarze

• +1 Dobra odpowiedź. Według tej witryny wydaje się mało prawdopodobne, aby Bohr to powiedział. Wydaje się bardziej prawdopodobne, że jest to rzadkie, ale ogólne przysłowie duńskie.
• @ usεr11852 Jest mało prawdopodobne, że ” kiedykolwiek powiedział, że „? Dlatego powiedziałem, że ” przypisano „, czy powinienem być bardziej ostrożny?
• Nigdy nie powiedziałem, że kiedykolwiek część. Zrobiłem ten komentarz, ponieważ biorąc pod uwagę, że powiedzenie wydaje się dużo bardziej prawdopodobne, że jest to przysłowie duńskie, przypisywanie go konkretnemu (niezwykle symbolicznemu) Duńczykowi wydaje się nieco zawyżone – zwłaszcza biorąc pod uwagę, że nie ma zapisów, by Bohr je wypowiedział. Pierwotnym autorem może być bezimienny rybak komentujący jutrzejszy połów '! Kibicuję tutaj dla małego faceta! : D
• Bardzo trudno modelować również przeszłe legendy cytatów.
• Z pewnością w pytaniu używane są oba słowa: chodzi o to, czy ” prognozowanie ” należy traktować jako formę ” ekstrapolacji. ” Zgodnie z wprowadzeniem komentarzy, wydaje się, że definiujesz ekstrapolację jako wykorzystanie przeszłości do ” modelowania przyszłości. ” Dopóki nie przedstawisz jasnych i wyraźnych definicji każdego z nich, Twoja odpowiedź może zostać źle zrozumiana.

Chociaż dopasowanie modelu może być „ dobre ”, ekstrapolacja poza zakres danych musi być traktowana sceptycznie. Powodem jest to, że w wielu przypadkach ekstrapolacja (niestety i nieuchronnie) opiera się na niesprawdzalnych założeniach dotyczących zachowania danych poza ich obserwowanym wsparciem.

Podczas ekstrapolacji należy dokonać dwóch osądów: Po pierwsze, z perspektywy ilościowej , jak ważny jest model poza zakresem danych? Po drugie, z jakościowego punktu widzenia, na ile prawdopodobne jest, że punkt $ x_ {out} $ leżący poza obserwowanym zakresem próby będzie członkiem populacji, którą zakładamy dla próby? Ponieważ oba pytania wiążą się z pewnym stopniem niejednoznaczności, ekstrapolacja jest również uważana za niejednoznaczną technikę. Jeśli masz powody, by przyjąć, że te założenia są prawdziwe, to ekstrapolacja jest zwykle prawidłową procedurą wnioskowania.

Dodatkowym zastrzeżeniem jest to, że wiele nieparametrycznych technik estymacji nie pozwala na natywną ekstrapolację. Ten problem jest szczególnie zauważalny w przypadku wygładzania splajnu, gdzie nie ma już węzłów do zakotwiczenia dopasowanego splajnu.

Podkreślę, że ekstrapolacja jest daleka od zła. Na przykład metody numeryczne szeroko stosowane w statystykach (na przykład proces delta-kwadrat Aitkena i Richardson ” s Ekstrapolacja ) są zasadniczo schematami ekstrapolacji opartymi na założeniu, że podstawowe zachowanie funkcji analizowanej pod kątem obserwowanych danych pozostaje stabilne w całej obsłudze funkcji.

Komentarze

• Mimo że możliwe jest napisanie zabezpieczeń dla Wynn $ \ varepsilon $ (przydatne obliczeniowo uogólnienie Aitken $ \ Delta ^ 2 $) i ekstrapolacji Richardsona, może się i zdarza, że założenia leżące u ich podstaw algorytmy nie są zbyt dobrze spełniane przez sekwencje, które są do niego dostarczane. Podczas korzystania z tych metod ekstrapolacji z sekwencjami o niepewnym pochodzeniu, wystarczająco paranoik będzie miał zwykle dwie lub więcej z tych metod przyspieszania konwergencji do testowania i będzie ufał wynikom tylko wtedy, gdy przynajmniej dwie z tych koncepcyjnie bardzo różnych metod są zgodne e w ich wynikach.

W przeciwieństwie do innych odpowiedzi, powiedziałbym, że nie ma nic złego z ekstrapolacją, o ile nie jest stosowana bezmyślnie.Po pierwsze, zwróć uwagę, że ekstrapolacja to :

proces szacowania, wykraczający poza oryginał zakres obserwacji, wartość zmiennej na podstawie jej związku z inną zmienną.

… więc jest bardzo szerokie pojęcie i wiele różnych metod, od prostej ekstrapolacji liniowej do regresji liniowej, regresji wielomianowej, a nawet niektórych zaawansowanych metod prognozowania szeregów czasowych. W rzeczywistości ekstrapolacja, przewidywanie i prognoza są ze sobą ściśle powiązane. W statystykach często tworzymy prognozy i prognozy . Tak też mówi link, do którego się odnosisz:

Od pierwszego dnia statystyk uczymy się, że ekstrapolacja to duże wyzwanie, ale na tym właśnie polega prognozowanie.

Wiele metod ekstrapolacji są używane do prognozowania, ponadto często niektóre proste metody działają całkiem dobrze z małymi próbkami, więc mogą być preferowane potem te skomplikowane. Problem polega na tym, jak zauważono w innych odpowiedziach, gdy niewłaściwie stosuje się metodę ekstrapolacji.

Na przykład wiele badań pokazuje, że wiek inicjacji seksualnej zmniejsza się z czasem w krajach zachodnich. Spójrz na poniższy wykres dotyczący wieku pierwszego stosunku w USA. Gdybyśmy ślepo zastosowali regresję liniową do przewidywania wieku pierwszego stosunku, przewidzielibyśmy, że spadnie on poniżej zera w ciągu kilku lat (zgodnie z pierwszym małżeństwem i pierwszym porodem, które miały miejsce w pewnym momencie po śmierci) … Jednak gdybyś musiał prognoza z rocznym wyprzedzeniem, to zakładam, że regresja liniowa doprowadziłaby do całkiem dokładnych krótkoterminowych prognoz trendu.

(źródło guttmacher.org )

Kolejny świetny przykład pochodzi z zupełnie innej domeny, ponieważ dotyczy ” ekstrapolacji ” dla testu wykonanego przez Microsoft Excel, jak pokazano poniżej (Nie wiem, czy jest to już naprawione, czy nie). Nie znam autora tego obrazu, pochodzi on z Giphy .

Wszystkie modele są nieprawidłowe , ekstrapolacja jest również błędne, ponieważ nie pozwala na precyzyjne przewidywania. Podobnie jak inne narzędzia matematyczne / statystyczne, umożliwia on wykonywanie przybliżonych prognoz. Zakres, na ile będą one dokładne, zależy od jakości danych, które posiadasz, przy użyciu metod odpowiednich dla Twojego problemu, założeń przyjętych podczas definiowania modelu i wielu innych czynników. Ale to nie znaczy, że nie możemy używać takich metod. Możemy, ale musimy pamiętać o ich ograniczeniach i powinniśmy ocenić ich jakość dla danego problemu.

Komentarze

• Kiedy dane, których używasz do regresji kończą się we wczesnych latach 80., prawdopodobnie możesz łatwo sprawdzić, jak długo po tej dacie będzie działać ekstrapolacja.
• @gerrit Zgadzam się, ale niestety nie ' nie udało mi się znaleźć odpowiednich danych. Ale gdyby ktoś mógł mi to wskazać, ' z przyjemnością zaktualizowałbym swoją odpowiedź dla takiego porównania.
• W tym przypadku ekstrapolacja nie powiedzie się, biorąc pod uwagę, że wiek pierwszej płci podskoczył w ciągu ostatnich kilku lat. (Ale dane dla tego zawsze opóźniają rok urodzenia o kilka dekad, z powodów, które powinny być oczywiste).

Bardzo podoba mi się przykład Nassima Taleba (który był adaptacją wcześniejszego przykładu Bertranda Russella):

Rozważmy indyka, który jest karmione codziennie. Każde pojedyncze karmienie utwierdza ptaka w przekonaniu, że ogólną zasadą życia jest karmienie każdego dnia przez przyjaznych członków rasy ludzkiej, „dbających o jej najlepszy interes”, jak powiedziałby polityk. W środę przed Świętem Dziękczynienia indykowi przydarzy się coś nieoczekiwanego. Spowoduje to zrewidowanie przekonań.

Oto niektóre analogie matematyczne:

• znajomość kilku pierwszych współczynników Taylora funkcji nie zawsze gwarantuje, że kolejne współczynniki będą zgodne z założonym wzorcem.

• znajomość Warunki początkowe równania różniczkowego nie zawsze gwarantują znajomość jego asymptotycznego zachowania (np. równania Lorenza, czasami przekształcane w tak zwany „efekt motyla”)

Oto miły wątek MO na ten temat.

Komentarze

• … i oczywiście Taleb musi wskazać lekcję moralną: ” don ' nie bądź indykiem „! W tym kontekście: don ' t być nieostrożnym ekstrapolatorem i nie ' nie ulegać grzechowi pychy.
• @ uoɥʇʎPʎzɐɹC, nie byłem ' nie proszę o to, ale dziękuję!
• nie ' Nie warto używać reputacji sprawdzanej krzyżowo – i nikt nie widział Twojej odpowiedzi i to było bardzo dobre. Baw się dobrze!

Zastanów się nad następującą historią, jeśli chcesz.

I Pamiętam też, jak siedziałem na kursie statystyki, a profesor powiedział nam, że ekstrapolacja to zły pomysł. Następnie podczas następnych zajęć powiedział nam, że to znowu zły pomysł; właściwie powiedział to dwa razy.

Byłem chory przez resztę semestru, ale byłem pewien, że nie mogłem przegapić wielu materiałów, ponieważ w ostatnim tygodniu facet z pewnością musiał mieć nic nie robiłem, tylko powtarzałem ludziom, że ekstrapolacja była złym pomysłem.

Co dziwne, nie uzyskałem bardzo dobrych wyników na egzaminie.

Komentarze

• Pytanie zadaje ” co jest złego w ekstrapolacji? „. Szukamy odpowiedzi, które podają powody, dla których ekstrapolacja może być złym pomysłem.
• @RobertLong: To ' to właściwie rodzaj meta / żartowej odpowiedzi, a całkiem podobny do xkcd.com/605 – może jednak lepiej jako komentarz niż odpowiedź.
• @NeilSlater: Powinien był napisać Twój komentarz jako odpowiedź … 🙂
• @RobertLong: To jest tego rodzaju odpowiedź. Ma po prostu formę przypowieści.
• Nie jest jasne, czy Twój model jest wykładniczy.

Pytanie nie jest tylko statystyczne, jest także epistemologiczne. Ekstrapolacja jest jednym ze sposobów, w jaki poznajemy naturę, jest to „forma indukcji . Powiedzmy, że mamy dane dotyczące przewodnictwa elektrycznego materiału w zakresie temperatur od 0 do 20 stopni Celsjusza, co możemy powiedzieć o przewodnictwie w temperaturze 40 stopni Celsjusza?

Jest to ściśle związane z małym wnioskowanie z próby: co możemy powiedzieć o całej populacji na podstawie pomiarów przeprowadzonych na małej próbie? Zostało to zapoczątkowane przez Gosset jako Guiness , który wymyślił rozkłady t Studenta. Przed nim statystycy nie zawracali sobie głowy myśleniem o małych próbkach, zakładając, że wielkość próbki zawsze może być duża. Był w Guinnes i musiał zajmować się próbkami piwa, aby zdecydować, co zrobić z całą partią piwa do wysłania.

Tak więc w praktyce (biznesie), inżynierii i nauce zawsze musimy ekstrapolować w jakiś sposób. Może to być ekstrapolacja małych próbek na dużą lub z ograniczonego zakresu warunków wejściowych do szerszego zestawu warunków, od co się dzieje w akceleratorze z tym, co stało się z czarną dziurą odległą o miliardy mil itp. Jest to jednak szczególnie ważne w nauce, ponieważ naprawdę uczymy się, badając rozbieżności między naszymi szacunkami ekstrapolacji a rzeczywistymi pomiarami. Często znajdujemy nowe zjawiska, gdy rozbieżności są duże lub spójne.

Dlatego twierdzę, że nie ma problemu z ekstrapolacją. Jest to coś, co musimy robić każdego dnia. To po prostu trudne.

Sama ekstrapolacja niekoniecznie jest zła, ale jest to proces, który nadaje się do wnioski, które są bardziej nierozsądne niż te, do których dochodzi się przy interpolacji.

• Ekstrapolacja jest często wykonywana w celu zbadania wartości dość odległych od obszaru próbkowania. Jeśli pobiorę 100 wartości z zakresu 0–10, a następnie dokonam ekstrapolacji tylko trochę, tylko do 11, mój nowy punkt będzie prawdopodobnie 10 razy dalej od dowolnego punktu danych, niż jakakolwiek interpolacja mogłaby kiedykolwiek uzyskać. Oznacza to, że o wiele więcej miejsca, aby zmienna wymknęła się spod kontroli (jakościowo). Zauważ, że celowo wybrałem tylko niewielką ekstrapolację. Może być znacznie gorzej
• Ekstrapolację należy przeprowadzić za pomocą dopasowań krzywych, które miały służyć do ekstrapolacji. Na przykład wiele dopasowań wielomianowych jest bardzo trudnych do ekstrapolacji, ponieważ terminy, które zachowują się dobrze w próbkowanym zakresie, mogą eksplodować, gdy go opuścisz. Dobra ekstrapolacja zależy od „dobrego przypuszczenia”, co dzieje się poza badanym regionem. Co prowadzi mnie do …
• Często bardzo trudno jest zastosować ekstrapolację ze względu na obecność przejść fazowych. Wiele procesów, na których można chcieć dokonać ekstrapolacji, ma zdecydowanie nieliniowe właściwości, które nie są dostatecznie eksponowane w badanym regionie. Doskonałym przykładem jest aeronautyka związana z prędkością dźwięku. Wiele ekstrapolacji z niższych prędkości rozpada się, gdy osiągasz i przekraczasz prędkość przesyłania informacji w powietrzu.Dzieje się tak również dość często w przypadku nauk miękkich, w których sama polityka może wpłynąć na powodzenie polityki. Ekonomia keynesowska ekstrapolowała, jak zachowa się gospodarka przy różnych poziomach inflacji, i przewidziała najlepszy możliwy wynik. Niestety wystąpiły efekty drugiego rzędu, a ich rezultatem nie był dobrobyt gospodarczy, ale raczej jedne z najwyższych wskaźników inflacji, jakie widziały Stany Zjednoczone.
• Ludzie lubią ekstrapolacje. Ogólnie rzecz biorąc, ludzie naprawdę chcą, aby ktoś zajrzał do kryształowej kuli i przepowiedział im przyszłość. Przyjmą zaskakująco złe ekstrapolacje po prostu dlatego, że to wszystkie posiadane przez nich informacje. Może to nie sprawić, że sama ekstrapolacja jest zła sama w sobie, ale z pewnością jest to coś, co należy wziąć pod uwagę, używając jej.

Aby uzyskać ostateczne wyniki ekstrapolacji, rozważ projekt Manhattan. Tam fizycy byli zmuszeni do pracy z testami na bardzo małą skalę przed skonstruowaniem prawdziwej rzeczy. Po prostu nie mieli wystarczającej ilości uranu, aby marnować go na testy. Zrobili, co mogli, i byli sprytni. Jednak kiedy nastąpił ostatni test, zdecydowano, że każdy naukowiec zdecyduje, jak daleko od wybuchu chciałby się znajdować, gdy wybuchł. Istniały znaczące różnice zdań co do tego, jak daleko jest „bezpieczne”, ponieważ każdy naukowiec wiedział, że ekstrapolują dość daleko od swoich testów. Istniała nawet nietrywialna uwaga, że mogą podpalić atmosferę bombą atomową, problem został również rozwiązany dzięki istotnej ekstrapolacji!

Wiele dobrych odpowiedzi, chcę po prostu spróbować zsyntetyzować to, co uważam za sedno problemu: niebezpieczne jest ekstrapolowanie poza proces generowania danych, który dał początek próbce szacunkowej. Nazywa się to czasem „zmianą strukturalną”.

Prognozowanie opiera się na założeniach, z których głównym jest to, że proces generowania danych jest (tak bliski, jak nie ma znaczącej różnicy) taki sam, jak ten, który wygenerował próbkę (z wyjątkiem zmiennych prawej strony, których zmiany wyraźnie uwzględnione w modelu). Jeśli nastąpi zmiana strukturalna (np. Święto Dziękczynienia w przykładzie Taleba), wszystkie zakłady są wyłączone.