Ce este în neregulă cu extrapolarea?

Un model de regresie este adesea folosit pentru extrapolare, adică pentru a prezice răspunsul la o intrare care se află în afara intervalul valorilor variabilei predictor utilizate pentru a se potrivi modelului. Pericolul asociat cu extrapolare este ilustrat în figura următoare.

Acest comic xkcd îl explică toate.

mg src = „https://i.stack.imgur.com/4QwTj.png” alt = „xkcd comic” title = „By the al treilea trimestru, vor fi sute de bebeluși în tine. „>

Folosind punctele de date pe care le are Cueball (bărbatul cu bățul), el a extrapolat că femeia va avea„ patru duzini „soți până la sfârșitul lunii viitoare și au folosit această extrapolare pentru a duce la concluzia cumpărării tortului de nuntă în vrac.

Edit 3: Pentru cei dintre voi care spun „nu are suficiente date”, el re „s un alt comic xkcd :

mg src =” https://i.stack.imgur.com/7oDyK.png „alt =” xkcd comic „title =” Deși 100 de ani sunt mai lungi decât multe dintre resursele noastre. „>

Aici, utilizarea cuvântul „durabil” în timp este afișat pe un grafic semi-jurnal, iar extrapolând punctele de date primim o estimare nerezonabilă a cât de des va apărea cuvântul „durabil” în viitor.

Edit 2: Pentru cei dintre voi care spun „aveți nevoie și de toate punctele de date din trecut”, încă o bandă desenată xkcd: mg src = „https://i.stack.imgur.com/JTTW1.png” alt = „xkcd comic” title = „2031: Google apără pivotarea microscopuri electronice de scanare montate pe acoperiș pe mașinile sale Street View, spunând că ‘ nu ‘ nu pot dezvălui nimic care nu ar putea nu poate fi văzut de niciun pieton care vă scanează casa cu un microscop electronic.”>

Aici avem toate punctele de date trecute, dar nu reușim să prezicem cu exactitate rezoluția Google Earth. Rețineți că acesta este și un grafic semi-jurnal.

Editați: Uneori, chiar și cel mai puternic dintre (r = .9979 în acest caz) corelațiile sunt pur și simplu greșite.

Dacă extrapolați fără alte dovezi justificative, încălcați și corelația nu implică cauzalitatea ; un alt mare păcat în lumea statisticilor.

Dacă extrapolați X cu Y, totuși, trebuie să vă asigurați că puteți cu precizie (suficient pentru a satisface cerințele dvs.) preziceți X cu numai Y. Aproape întotdeauna, există mai mulți factori decât impactul X.

_{I doresc să trimit un link către un alt răspuns care îl explică în cuvintele lui Nassim Nicholas Taleb.}

Comentarii

• xkcd are o glumă despre fiecare posibilă problemă de matematică / statistică pe care o puteți întâlni, nu ‘ nu?
• Această idee ar putea fi la fel de bine folosită ca argument împotriva interpolării: ” aseară ai avut 0,5 soți „.
• @JiK Dacă tot ce știi este că are unul acum și acum două zile nu avea, nu este o estimare proastă 😉
• Durabil durabil Durabil durabil durabil durabil Durabil durabil. en.wikipedia.org/wiki/…
• mai multe xkcd, oameni!

” Predicția este foarte dificilă, mai ales dacă este ” despre viitor „. Citatul este atribuit multor oameni într-o anumită formă . Am restricționat în următoarele ” extrapolare ” la ” predicție în afara intervalului cunoscut ” și într-un cadru unidimensional, extrapolare dintr-un trecut cunoscut în viitor necunoscut.

Deci, ce este în neregulă cu extrapolare. Mai întâi, nu este ușor să modelați trecutul . În al doilea rând, este greu de știut dacă un model din trecut poate fi folosit pentru viitor . În spatele ambelor afirmații stau întrebări profunde despre cauzalitate sau ergodicitate , suficiența variabilelor explicative etc., care sunt destul de dependente de caz. Ceea ce este greșit este că este dificil să alegeți o singură schemă de extrapolare care să funcționeze bine în contexte diferite, fără multe informații suplimentare.

Această nepotrivire generică este clar ilustrată în Set de date despre cvartet Anscombe prezentat mai jos. Regresia liniară este, de asemenea (în afara $ x $ -intervalul coordonat) o instanță de extrapolare. Aceeași linie regresează patru seturi de puncte, cu aceleași statistici standard. Cu toate acestea, modelele de bază sunt destul de diferite: primul este destul de standard. Al doilea este o eroare de model parametric (un polinom de gradul al doilea sau al treilea ar putea fi mai potrivit), al treilea arată o potrivire perfectă, cu excepția unei valori (outlier?), Al patrulea o lipsă de relații netede (histerezis?).

Cu toate acestea, prognozele pot fi rectificate într-o oarecare măsură . Adăugând la alte răspunsuri, câteva ingrediente pot ajuta la extrapolare practică:

1. Puteți cântări probele în funcție de distanța lor (index $ n $ ) la locația $ p $ unde doriți a extrapola. De exemplu, utilizați o funcție în creștere $ f_p (n) $ (cu $ p \ ge n $ ) , cum ar fi ponderare exponențială sau netezire sau ferestre glisante ale probelor, pentru a acorda mai puțină importanță valorilor mai vechi.
2. Puteți utiliza mai multe modele de extrapolare și le puteți combina sau selectați cel mai bun ( Combinarea previziunilor , J. Scott Armstrong, 2001).Recent, au existat o serie de lucrări privind combinația lor optimă (pot furniza referințe dacă este necesar).

Recent, am fost implicat într-un proiect pentru extrapolarea valorilor pentru comunicarea simulării subsisteme într-un mediu în timp real. Dogma din acest domeniu era că extrapolarea poate provoca instabilitate. De fapt, ne-am dat seama că combinarea celor două ingrediente de mai sus a fost foarte eficientă, fără o instabilitate vizibilă (fără încă o dovadă formală: CHOPtrey: extrapolare contextuală polinomială online pentru o simulare îmbunătățită multi-core a sisteme complexe , Simulare, 2017). Iar extrapolarea a funcționat cu polinoame simple, cu o sarcină de calcul foarte scăzută, majoritatea operațiunilor fiind calculate în prealabil și stocate în tabele de căutare. efectul regresiei liniare:

Comentarii

• +1 Răspuns frumos. Conform acest site , pare puțin probabil ca Bohr să fi spus-o. Se pare că este mai probabil să fie un proverb danez neobișnuit, dar generic.
• @ usεr11852 Este puțin probabil ca el ” să fi spus vreodată că „? De aceea am spus ” atribuit „, ar trebui să fiu mai precaut?
• Nu am spus niciodată vreodată parte. Am făcut acest comentariu pentru că, având în vedere că zicala pare mult mai probabil să fie un proverb danez, atribuindu-l unui anumit danez (extrem de emblematic) pare un pic de supra-facturare – mai ales având în vedere că nu există înregistrări ale lui Bohr care să o spună. Autorul original ar putea fi un pescar fără nume care comentează capturile de mâine ‘! Îmi înrădăcinez băiețelul de aici! : D
• Foarte greu de modelat și legendele citatelor din trecut.
• Cu siguranță întrebarea folosește ambele cuvinte: întregul punct este dacă ” prognozarea ” trebuie considerată o formă de extrapolare „. ” Conform introducerii dvs. comentarii, se pare că definiți extrapolarea ca folosind trecutul pentru a ” modelarea viitorului. ” Până când oferiți definiții clare și distincte ale fiecăruia, răspunsul dvs. ar putea fi înțeles greșit.

Deși potrivirea unui model ar putea fi „ bun „, extrapolarea dincolo de intervalul de date trebuie tratată sceptic. Motivul este că, în multe cazuri, extrapolarea (din păcate și inevitabil) se bazează pe ipoteze incontestabile cu privire la comportamentul datelor dincolo de suportul observat.

Atunci când extrapolați trebuie să faceți două apeluri de judecată: În primul rând, dintr-o perspectivă cantitativă , cât de valid este modelul în afara intervalului de date? În al doilea rând, dintr-o perspectivă calitativă, cât de plauzibil este un punct $ x_ {out} $ care se află în afara eșantionului observat pentru a fi un membru al populației pe care o presupunem pentru eșantion? Deoarece ambele întrebări implică un anumit grad de ambiguitate, extrapolarea este considerată și o tehnică ambiguă. Dacă aveți motive să acceptați că aceste ipoteze sunt valabile, extrapolarea este de obicei o procedură inferențială validă.

O avertizare suplimentară este că multe tehnici de estimare non-parametrice nu permit extrapolarea nativă. Această problemă este deosebit de vizibilă în cazul netezirii splinei în care nu mai există noduri pentru ancorarea splinei montate.

Permiteți-mi să subliniez că extrapolarea este departe de a fi rea. De exemplu, metode numerice utilizate pe scară largă în statistici (de exemplu, Procesul delta-pătrat Aitken „ și Richardson” s Extrapolare ) sunt în esență scheme de extrapolare bazate pe ideea că comportamentul de bază al funcției analizate pentru datele observate rămâne stabil pe suportul funcției.

Comentarii

• Deși este posibil să se scrie garanții pentru Wynn $ \ varepsilon $ (generalizarea utilă din punct de vedere al calculației Aitken $ \ Delta ^ 2 $) și extrapolarea Richardson, se poate și se întâmplă ca ipotezele care stau la baza acestor algoritmii nu sunt foarte bine satisfăcuți de secvențele alimentate. Când se utilizează aceste metode de extrapolare cu secvențe de proveniență incertă, suficient de paranoici vor avea de obicei două sau mai multe dintre aceste metode de accelerare a convergenței la îndemână pentru testare și vor avea încredere în rezultate numai dacă cel puțin două dintre aceste metode conceptuale foarte diferite sunt de acord În rezultatele lor.

Contrar celorlalte răspunsuri, aș spune că nu este nimic greșit cu extrapolare în măsura în care nu este folosit într-un mod fără minte.Mai întâi, observați că extrapolarea este :

procesul de estimare, dincolo de original intervalul de observare, valoarea unei variabile pe baza relației sale cu o altă variabilă.

… deci este „foarte pe termen larg și multe metode diferite, de la simpla extrapolare liniară , până la regresie liniară, regresie polinomială sau chiar unele metode avansate de prognoză a seriilor temporale se potrivesc unei astfel de definiții. De fapt, extrapolare, predicție și prognoză sunt strâns legate. În statistici adesea facem predicții și prognoze . Aceasta este, de asemenea, ceea ce spune link-ul la care faceți referire:

În prima zi de statistici suntem învățați că extrapolarea este un mare nu, dar asta este exact ceea ce este prognoza.

Multe metode de extrapolare sunt utilizate pentru a face predicții, în plus, adesea unele metode simple funcționează destul de bine cu eșantioane mici, deci pot fi preferate apoi cele complicate. Problema este, așa cum s-a observat în alte răspunsuri, atunci când utilizați metoda de extrapolare în mod necorespunzător.

De exemplu, multe studii arată că vârsta inițierii sexuale scade în timp în țările occidentale. Aruncați o privire la un complot sub vârsta primului act sexual în SUA. Dacă am folosi orbește regresia liniară pentru a prezice vârsta primului act sexual, am prezice că va scădea sub zero la un anumit număr de ani (în conformitate cu prima căsătorie și prima naștere care se întâmplă la un moment dat după moarte) … Cu toate acestea, dacă ar fi nevoie să faceți prognoză cu un an înainte, atunci cred că regresia liniară ar duce la predicții destul de precise pe termen scurt pentru tendință.

(sursa guttmacher.org )

Un alt exemplu extraordinar provine dintr-un domeniu complet diferit, deoarece este vorba despre ” extrapolând ” pentru testul efectuat de Microsoft Excel, așa cum se arată mai jos (Nu știu dacă acest lucru este deja remediat sau nu). Nu cunosc autorul acestei imagini, provine de la Giphy .

Toate modelele sunt greșite , extrapolare este, de asemenea, greșit, deoarece nu vă va permite să faceți predicții precise. Ca alte instrumente matematice / statistice, vă va permite să faceți predicții aproximative . Mărimea cât de exacte vor fi acestea depinde de calitatea datelor pe care le dețineți, folosind metode adecvate pentru problema dvs., ipotezele pe care le-ați făcut în timp ce vă definiți modelul și mulți alți factori. Dar acest lucru nu înseamnă că nu putem folosi astfel de metode. Putem, dar trebuie să ne amintim de limitările lor și ar trebui să le evaluăm calitatea pentru o anumită problemă.

Comentarii

• Când datele pe care le utilizați pentru regresie se termină la începutul anilor 1980, probabil că puteți testa cu ușurință cât timp ar funcționa extrapolarea după această dată.
• @gerrit Sunt de acord, dar din păcate, nu am putut ‘ să găsesc date adecvate. Dar dacă cineva ar putea să-l arate către mine, atunci ‘ aș fi fericit să-mi actualizez răspunsul pentru o astfel de comparație.
• În acest caz, extrapolarea eșuează, având în vedere că vârsta primului sex a crescut în ultimii ani. (Dar datele pentru acest lucru întârzie întotdeauna anul nașterii cu câteva decenii, din motive care ar trebui să fie evidente.)

Îmi place foarte mult exemplul lui Nassim Taleb (care a fost o adaptare a unui exemplu anterior de Bertrand Russell):

Luați în considerare un curcan care este hrănit în fiecare zi. Fiecare hrană va consolida convingerea păsării că este regula generală a vieții să fie hrănită în fiecare zi de membrii prietenoși ai rasei umane „care își caută interesele”, așa cum ar spune un politician. miercuri înainte de Ziua Recunoștinței, ceva neașteptat se va întâmpla cu curcanul. Va avea loc o revizuire a credinței.

Unii analogi matematici sunt următorii:

• cunoașterea primilor coeficienți Taylor ai unei funcții nu garantează întotdeauna că coeficienții care urmează vor urma modelul presupus.

• cunoașterea condițiile inițiale ale unei ecuații diferențiale nu garantează întotdeauna cunoașterea comportamentului său asimptotic (de exemplu, ecuațiile lui Lorenz, uneori distorsionate în așa-numitul „efect fluture”)

Iată un subiect MO bun în această privință.

Comentarii

• … și bineînțeles, Taleb trebuie să sublinieze lecția morală: ” don ‘ t be a curkey „! În acest context: don ‘ nu fi un extrapolator neglijent și nu ‘ nu cedezi păcatului hubrisului.
• @ uoɥʇʎPʎzɐɹC, nu eram ‘ Nu îl cereți, dar vă mulțumesc!
• nu ‘ nu aveți cu adevărat o utilizare pentru reputația validată încrucișat – și nimeni nu a văzut răspunsul și a fost foarte bine. Bucurați-vă!

Gândiți-vă la următoarea poveste, dacă vreți.

I Amintiți-vă, de asemenea, că ați participat la un curs de statistică, iar profesorul ne-a spus că extrapolarea este o idee proastă. Apoi, în timpul clasei următoare, ne-a spus că a fost din nou o idee proastă; de fapt, el a spus-o de două ori.

Am fost bolnav pentru restul semestrului, dar eram sigur că nu aș fi putut pierde o mulțime de material, pentru că până în ultima săptămână tipul trebuie să aibă cu siguranță nu făceam altceva decât să le spun oamenilor din nou și din nou că extrapolarea a fost o idee proastă.

În mod ciudat, nu am obținut un scor foarte mare la examen.

Comentarii

• Întrebarea întreabă ” ce nu este în regulă cu extrapolarea? „. Căutăm răspunsuri care să ofere motive pentru care extrapolarea ar putea fi o idee proastă.
• @RobertLong: ‘ este de fapt un fel de răspuns meta / glumă și destul de asemănător cu xkcd.com/605 – totuși poate mai bine ca un comentariu decât un răspuns.
• @NeilSlater: Ar fi trebuit să postezi comentariul dvs. ca răspuns … 🙂
• @RobertLong: Acesta este genul de răspuns. Pur și simplu are forma unei parabole.
• Nu este clar că modelul dvs. este exponențial.

Întrebarea nu este doar statistică, este și epistemologică. Extrapolarea este unul dintre modurile în care învățăm despre natură, este „o formă de inducție . Să spunem că avem date pentru conductivitatea electrică a unui material într-un interval de temperaturi de la 0 la 20 Celsius, ce putem spune despre conductivitatea la 40 de grade Celsius?

Este strâns legată de dimensiunile mici inferența eșantionului: ce putem spune despre întreaga populație din măsurătorile efectuate pe un eșantion mic? Aceasta a fost inițiată de Gosset as Guiness , care a venit cu distribuții t Student. Înainte de el, statisticienii nu se deranjau să se gândească la eșantioane mici, presupunând că dimensiunea eșantionului poate fi întotdeauna mare. El se afla la Guinnes și a trebuit să se ocupe de eșantioane de bere pentru a decide ce să facă cu întregul lot de bere de expediat.

Deci, în practică (business), inginerie și știință trebuie întotdeauna să extrapolăm în anumite moduri. Ar putea fi extrapolarea eșantioanelor mici la una mare, sau de la o gamă limitată de condiții de intrare la un set mai larg de condiții, de la ce se întâmplă în accelerație cu ceea ce s-a întâmplat cu o gaură neagră la miliarde de mile depărtare etc. Este totuși deosebit de important în știință, întrucât învățăm cu adevărat studiind discrepanțele dintre estimările noastre de extrapolare și măsurătorile reale. Adesea găsim noi fenomene în care discrepanțele sunt mari sau consistente.

Prin urmare, spun că nu există nicio problemă cu extrapolarea. Este ceva ce trebuie să facem în fiecare zi. Este doar dificil.

Extrapolarea în sine nu este neapărat rea, dar este un proces care se pretează la concluzii care sunt mai nerezonabile decât ajungeți la interpolare.

• Extrapolarea se face adesea pentru a explora valori destul de departe de regiunea eșantionată. Dacă eșantionez 100 de valori de la 0-10 și apoi extrapolez puțin, doar la 11, noul meu punct este probabil de 10 ori mai departe de orice punct de date decât ar putea obține orice interpolare. Aceasta înseamnă că există „s mult mai mult spațiu pentru ca o variabilă să iasă din mână (calitativ). Rețineți că am ales în mod intenționat doar o extrapolare minoră. Se poate agrava mult.
• Extrapolarea trebuie făcută cu ajustări de curbă care au fost destinate să facă extrapolare. De exemplu, multe potriviri polinomiale sunt foarte slabe pentru extrapolare, deoarece termenii care se comportă bine peste intervalul eșantionat pot exploda odată ce îl părăsiți. O extrapolare bună depinde de o „presupunere bună” a ceea ce se întâmplă în afara regiunii eșantionate. Ceea ce mă aduce la …
• Este adesea extrem de dificil să folosești extrapolare din cauza prezenței tranzițiilor de fază. Multe procese pe care s-ar putea dori să le extrapolați au proprietăți neliniare care nu sunt suficient de expuse peste regiunea eșantionată. Aeronautica în jurul vitezei sunetului este un exemplu excelent. Multe extrapolări de la viteze mai mici se destramă pe măsură ce atingeți și depășiți viteza de transfer de informații în aer.Acest lucru se întâmplă destul de des și în cazul științelor soft, unde politica în sine poate avea impact asupra succesului politicii. Economia keynesiană a extrapolat modul în care economia s-ar comporta cu diferite niveluri de inflație și a prezis cel mai bun rezultat posibil. Din păcate, au existat efecte de ordinul doi și rezultatul nu a fost prosperitatea economică, ci mai degrabă unele dintre cele mai ridicate rate ale inflației pe care le-a văzut SUA.
• Oamenii ca extrapolări. În general, oamenii vor cu adevărat ca cineva să se uite într-o minge de cristal și să le spună viitorul. Vor accepta extrapolări surprinzător de proaste, pur și simplu pentru că sunt toate informațiile pe care le au. Acest lucru poate să nu facă extrapolarea în sine proastă, în sine, dar este cu siguranță ceva de care ar trebui să ții cont atunci când îl folosești.

entru finalizarea extrapolării, luați în considerare Proiectul Manhattan. Fizicienii de acolo au fost forțați să lucreze cu teste la scară extrem de mică înainte de a construi adevăratul. Pur și simplu nu aveau suficient uraniu de pierdut la teste. Au făcut tot ce au putut și au fost deștepți. Cu toate acestea, când a avut loc testul final, s-a decis ca fiecare om de știință să decidă cât de departe de explozie doreau să fie când a dispărut. Au existat diferențe de opinii substanțiale cu privire la cât de departe era „sigur”, deoarece toți oamenii de știință știau că extrapolează destul de departe de testele lor. A existat chiar o considerație non-banală că ar putea da foc atmosferei cu bomba nucleară, o problemă pusă de asemenea în suspensie cu extrapolare substanțială!

O mulțime de răspunsuri bune aici, vreau doar să încerc să sintetizez ceea ce văd ca nucleu al problemei: este periculos să extrapolăm dincolo de acel proces de generare a datelor care a dat naștere eșantionului de estimare. Aceasta este uneori numită „schimbare structurală”.

Prognoza vine cu presupuneri, principala fiind că procesul de generare a datelor este (la fel de aproape ca nu face nicio diferență semnificativă) același cu cel care a generat eșantionul (cu excepția variabilelor rhs, ale căror modificări sunt explicabil în model). Dacă are loc o schimbare structurală (de exemplu, Ziua Recunostintei în exemplul lui Taleb), toate pariurile sunt dezactivate.