Mi a baj az extrapolációval?

Az extrapolációhoz gyakran egy regressziós modellt használnak, azaz előre jelzik a bemenetre adott választ, amely kívül esik a modellhez illeszkedő prediktor változó értéktartománya. Az extrapolációval járó veszélyt a következő ábra szemlélteti.

Ez az xkcd képregény megmagyarázza minden.

mg src = “https://i.stack.imgur.com/4QwTj.png” alt = “xkcd comic” title = “A harmadik trimeszterben több száz csecsemő lesz benned. “>

A Cueball (a botos férfi) adatpontjainak felhasználásával extrapolálta, hogy a nőnek” négy tucatja lesz ” “a férjek a jövő hónap végére, és ezt az extrapolációt arra használták, hogy az esküvői torta tömeges megvásárlásához jussanak.

3. szerkesztés: Azok számára, akik azt mondják, hogy “nincs elég adatpontja”, re “s egy másik xkcd képregény :

mg src =” https://i.stack.imgur.com/7oDyK.png “alt =” xkcd comic “title =” Bár a 100 év hosszabb, mint sok erőforrásunk. “>

Itt a A “fenntartható” szó idővel egy félnaplós ábrán jelenik meg, és az adatpontok extrapolálásával ésszerűtlen becsléseket kapunk arra vonatkozóan, hogy a “fenntartható” szó milyen gyakran fordul elő a jövőben.

2. szerkesztés: Azok számára, akik azt mondják, hogy “minden múltbeli adatpontra is szükség van”, még egy xkcd képregény: mg src = “https://i.stack.imgur.com/JTTW1.png” alt = “xkcd comic” title = “2031: A Google megvédi a forgást tetőre szerelt pásztázó elektronmikroszkópok az Utcakép autóin, mondván, hogy ‘ nem ‘ nem árulnak el mindent, ami nem lehetséges “>

” Az előrejelzés nagyon nehéz, különösen, ha ez ” s a jövőről “. Az idézetet sok embernek tulajdonítják valamilyen formában . A következőkben korlátozom ” extrapoláció ” ” előrejelzésre az ismert tartományon kívül ” és egydimenziós környezetben extrapoláció egy ismert múltból egy ismeretlen jövőbe.

Tehát mi a baj az extrapolációval. Először: nem könnyű modellezni a múltat . Másodszor, nehéz tudni, hogy a múltbeli modell használható-e a jövőben . Mindkét állítás mögött mély ok-okozati kérdések állnak vagy ergodicitás , elégséges magyarázó változók stb. A baj az, hogy nehéz kiválasztani egyetlen extrapolációs sémát, amely különféle körülmények között jól működik, sok extra információ nélkül.

Ezt az általános eltérést világosan szemlélteti a Anscombe négyes adatkészlet alább látható. A lineáris regresszió (a $ x $ -koordináta tartományon kívül) extrapoláció is. Ugyanaz a vonal négy pontkészletet regresszál, ugyanazokkal a standard statisztikákkal. Az alapul szolgáló modellek azonban egészen mások: az első meglehetősen szabványos. A második egy paraméteres modellhiba (egy második vagy harmadik fokú polinom jobban megfelelhet), a harmadik tökéletes illeszkedést mutat egy érték kivételével (outlier?), A negyedik a sima kapcsolatok hiányát (hiszterézis?).

Az előrejelzés azonban bizonyos mértékig kijavítható . Más válaszokhoz hozzáadva néhány összetevő segíthet a gyakorlati extrapolációban:

1. Súlyozhatja a mintákat távolságuk szerint (index $ n $ ) a kívánt helyig $ p $ extrapolálni. Használjon például egy növekvő függvényt: $ f_p (n) $ ( $ p \ ge n $ ) , például exponenciális súlyozás vagy simítás , vagy a minták csúszó ablakai, hogy kisebb jelentőséget tulajdonítsanak a régebbi értékeknek.
2. Több extrapolációs modellt is használhat, és kombinálhatja őket vagy kiválaszthatja a legjobbat ( Előrejelzések kombinálása , J. Scott Armstrong, 2001).A közelmúltban számos munka készült azok optimális kombinációjáról (szükség esetén referenciákat is adhatok).

Nemrégiben részt vettem a szimuláció kommunikációjára szolgáló értékek extrapolálására irányuló projektben. alrendszerek valós idejű környezetben. Ebben a tartományban az volt a dogma, hogy az extrapoláció instabilitást okozhat. Valójában rájöttünk, hogy a fenti két összetevő kombinálása nagyon hatékony volt, észrevehetetlen instabilitás nélkül (hivatalos igazolás nélkül: CHOPtrey: kontextus szerinti online polinom extrapoláció a többmagos fokozott ko-szimulációhoz komplex rendszerek , Simulation, 2017). Az extrapoláció egyszerű polinomokkal működött, nagyon alacsony számítási terheléssel, a műveletek nagy részét előre kiszámolták és a keresési táblákban tárolták.

Végül, mivel az extrapoláció vicces rajzokat javasol, a következő a visszalépés a lineáris regresszió hatása:

Megjegyzések

• +1 Kedves válasz. ezen weboldal szerint valószínűtlennek tűnik, hogy Bohr mondta. Valószínűbbnek tűnik, hogy nem mindennapi, de általános dán közmondás.
• @ usεr11852 Nem valószínű, hogy ő ” mondta volna valaha, hogy “? Ezért mondtam, hogy ” a ” attribútumnak kell lennie, óvatosabbnak kell lennem?
• Soha nem mondtam a valaha rész. Azért tettem ezt a megjegyzést, mert tekintettel arra, hogy a mondás sokkal valószínűbbnek tűnik dán közmondásnak, egy bizonyos (rendkívül emblematikus) dánnak tulajdonítani kissé túlszámlázni látszik – főleg, hogy nincsenek feljegyzések arról, hogy Bohr kimondta volna. Az eredeti szerző lehet egy meg nem nevezett halász, aki kommentálja a holnapi ‘ s fogást! Itt gyökerezek a kis srácért! : D
• Nagyon nehéz modellezni a múltbeli idézetlegendákat is.
• Természetesen a kérdés mindkét szót használja: a lényeg az, hogy ” az ” előrejelzést az ” extrapoláció egyik formájának kell tekinteni. ” A bevezetője szerint megjegyzéseit, úgy tűnik, úgy definiálja az extrapolációt, hogy a múltat használja a ” jövő modellezéséhez. válaszát félre lehet érteni.

Bár a modell illeszkedése “ jó” lehet “, az adatok körén túli extrapolációt szkeptikusan kell kezelni. Ennek oka az, hogy sok esetben az extrapoláció (sajnos és elkerülhetetlenül) az adatok viselkedésével kapcsolatban tesztelhetetlen feltételezésekre támaszkodik, amelyek meghaladják a megfigyelt támogatást.

Az extrapolálás során két megítélési felhívást kell megtenni: Először kvantitatív szempontból , mennyire érvényes a modell az adatok tartományán kívül? Másodszor, kvalitatív szempontból mennyire hihető egy $ x_ {out} $ pont, amely a megfigyelt mintatartományon kívül helyezkedik el annak a populációnak a tagjaként, amelyet feltételezünk a mintához? Mivel mindkét kérdés bizonyos mértékű kétértelműséggel jár, az extrapoláció szintén kétértelmű technikának számít. Ha van oka elfogadni ezeket a feltételezéseket, akkor az extrapoláció általában érvényes következtetési eljárás.

További figyelmeztetés, hogy sok nem parametrikus becslési technika nem teszi lehetővé az extrapolációt natív módon. Ez a probléma különösen szembetűnő a spline simítás esetében, ahol nincs több csomó a rögzített spline horgonyzására.

Hangsúlyozom, hogy az extrapoláció messze nem gonosz. Például a statisztikában széles körben alkalmazott numerikus módszerek (például Aitken delta-négyzet alakú folyamata és Richardson ” s Az extrapoláció ) lényegében extrapolációs sémák, amelyek azon az elgondoláson alapulnak, hogy a megfigyelt adatokra nézve elemzett függvény mögöttes viselkedése stabil marad a függvény támogatásán keresztül.

Megjegyzések

• Azonban lehetséges Wynn $ \ varepsilon $ (az Aitken $ \ Delta ^ 2 $ számítási szempontból hasznos általánosítása) és a Richardson extrapoláció biztosítékainak megírása, előfordulhat, és előfordul is, hogy az ezek mögött álló feltételezések Ha ezeket az extrapolációs módszereket bizonytalan eredetű szekvenciákkal alkalmazzuk, a kellően paranoidoknak általában két vagy több ilyen konvergencia-gyorsítási módszer áll rendelkezésre tesztelés céljából, és csak akkor bíznak az eredményekben, ha ezek közül a fogalmilag nagyon különböző módszerek közül legalább kettő egyetért e az eredményeikben.

Más válaszokkal ellentétben azt mondanám, hogy nincs semmi baj extrapolációval, amennyiben nem esztelen módon használják.Először is vegye figyelembe, hogy az extrapoláció :

az eredetit meghaladó becslés folyamata megfigyelési tartomány, egy változó értéke egy másik változóval való kapcsolata alapján.

… tehát “s nagyon széles kifejezés és sokféle módszer, az egyszerű lineáris extrapolációtól kezdve a lineáris regresszióig, a polinom regresszióig, vagy akár néhány fejlett idősoros előrejelzési módszer is megfelel az ilyen definíciónak. Valójában az extrapoláció, előrejelzés és előrejelzés szorosan összefüggenek egymással. A statisztikákban gyakran készítünk jóslatok és előrejelzések . Ezt mondja az általad hivatkozott link is:

A statisztikák első napjától kezdve azt tanítjuk, hogy az extrapoláció nagy nem-nem, de pontosan ez az előrejelzés.

Sok extrapolációs módszer kifejezéseket előrejelzések készítéséhez használják, sőt, gyakran egyes egyszerű módszerek nagyon jól működnek kis mintákkal, ezért előnyben részesíthetők aztán a bonyolultakat. A probléma az, amint azt más válaszok is észrevették, amikor az extrapolációs módszert helytelenül alkalmazza.

Például sok tanulmány kimutatta, hogy a nyugati országokban a szexuális beavatkozás kora idővel csökken. Vessen egy pillantást egy olyan cselekményre, amely körülbelül az első közösülés kora alatt van az Egyesült Államokban. Ha vakon lineáris regressziót alkalmaztunk volna az első közösülés életkorának megjóslásához, akkor azt jósolnánk, hogy bizonyos évek alatt nulla alá kerül (ennek megfelelően az első házasság és az első születés a halál után valamikor bekövetkezik). egy évre előrejelzés, akkor azt gondolom, hogy a lineáris regresszió elég pontos rövid távú előrejelzéseket eredményez a trend szempontjából.

(forrás guttmacher.org )

Egy másik nagyszerű példa egy teljesen más tartományból származik, mivel ” a ” extrapolálásáról szól a Microsoft Excel által végzett teszthez, az alábbiak szerint (Nem tudom, hogy ez már javítva van-e vagy sem). Nem ismerem ennek a képnek a szerzőjét, a Giphy származik.

Minden modell hibás , extrapoláció szintén helytelen, mivel ez nem teszi lehetővé a pontos előrejelzéseket. Más matematikai / statisztikai eszközként lehetővé teszi hozzávetőleges előrejelzéseket. Az, hogy mennyire pontosak lesznek, függ a rendelkezésére álló adatok minőségétől, a problémának megfelelő módszerekkel, a modell meghatározása során tett feltételezésektől és sok más tényezőtől. De ez nem azt jelenti, hogy nem használhatunk ilyen módszereket. Megtehetjük, de emlékeznünk kell azok korlátaira, és értékelnünk kell egy adott probléma minőségét .

Megjegyzések

• Amikor a regresszióra használt adatok az 1980-as évek elején véget érnek, valószínűleg könnyen tesztelheted, hogy az extrapoláció mennyi ideig fog működni ezen a dátumon túl.
• @gerrit Egyetértek, de sajnos nem tudtam ‘ megtalálni a megfelelő adatokat. De ha valaki rám tudna mutatni, akkor ‘ örömmel frissíteném a válaszomat az ilyen összehasonlítás érdekében.
• Ebben az esetben az extrapoláció kudarcot vall, mivel az első szex kora az elmúlt években megugrott. (De ennek adatai mindig nyilvánvaló okokból elmaradnak a születési évektől néhány évtizeddel.)

Nagyon tetszik Nassim Taleb példája (amely Bertrand Russell korábbi példájának adaptációja volt):

Vegyünk egy pulykát, amely minden nap etetik. Minden egyes etetés megerősíti a madár azon meggyőződését, hogy az élet általános szabálya, hogy minden nap az emberiség barátságos tagjai táplálják „a legjobb érdekeket figyelve”, ahogy egy politikus mondaná. a hálaadás előtti szerdán valami váratlan dolog történik a pulykával. Ez a hit felülvizsgálatát eredményezi.

Néhány matematikai analóg a következő:

• A függvény első néhány Taylor-együtthatójának ismerete nem mindig garantálja, hogy a következő együtthatók követni fogják a feltételezett mintát.

• a a differenciálegyenlet kezdeti feltételei nem mindig garantálják aszimptotikus viselkedésének ismeretét (pl. Lorenz-egyenletek, amelyek néha az úgynevezett “pillangóhatásba” torzulnak)

Itt van egy szép MO szál az ügyben.

megjegyzések

• … és természetesen Talebnek ki kell mutatnia az erkölcsi tanulságot: ” don ‘ ne legyen pulyka “! Ebben az összefüggésben: don ‘ t légy hanyag extrapolátor, és ne ‘ ne engedj a hubris bűnének.
• @ uoɥʇʎPʎzɐɹC, nem voltam ‘ t nem kérte, de köszönöm!
• ne ‘ ne használja a keresztellenőrzött hírnevet – és senki sem látta a válaszát, és nagyon jó volt. Élvezze!

Ha szeretné, fontolja meg a következő történetet.

I emlékezzen arra is, hogy egy statisztikai tanfolyamon ültünk, és a professzor azt mondta nekünk, hogy az extrapoláció rossz ötlet. Aztán a következő órán elmondta, hogy ez ismét rossz ötlet; valójában kétszer mondta.

A félév hátralévő részében beteg voltam, de biztos voltam benne, hogy sok anyagot nem tudtam kihagyni, mert a múlt hétre a srácnak biztosan rendelkezett nem csinált semmit, csak újra és újra elmondta az embereknek, hogy az extrapoláció rossz ötlet.

Furcsa módon a vizsgán nem értem el nagyon magas pontszámot.

Hozzászólások

• A kérdés azt kérdezi “, hogy mi a baj az extrapolációval? “. Olyan válaszokat keresünk, amelyek megalapozzák, hogy miért lehet rossz ötlet az extrapoláció.
• @RobertLong: Ez ‘ valójában egyfajta meta / vicc válasz, és elég hasonló a xkcd.com/605 -hez – mégis jobb lehet megjegyzésként, mint válasz.
• @NeilSlater: Be kellett volna írnod megjegyzésed válaszként … 🙂
• @RobertLong: Ez az a fajta válasz. Egyszerűen csak példázata van.
• Nem világos, hogy a modelled exponenciális.

Maga az extrapoláció nem feltétlenül gonosz, de ez egy olyan folyamat, amely alkalmas arra, hogy következtetések, amelyek ésszerűtlenebbek, mint amire az interpolációval juthatunk.

• Az extrapolációt gyakran azért végezzük, hogy a mintától vett régiótól meglehetősen távol eső értékeket tárjunk fel. Ha 100 értéket veszek mintából 0-10-ig, majd csak kissé extrapolálom, csupán 11-re, akkor az új pontom valószínűleg tízszer távolabb van bármilyen adatponttól, mint bármely interpoláció valaha is elérheti. Ez azt jelenti, hogy hogy egy változó sokkal több helyet kap a kezéből (minőségileg). Ne feledje, hogy szándékosan csak kisebb extrapolációt választottam. Sokkal rosszabbá válhat
• Az extrapolálást olyan görbe illesztésekkel kell elvégezni, amelyeket extrapolációra szántak. Például sok polinomiális illesztés nagyon gyenge az extrapolációhoz, mert a mintavételi tartományban jól viselkedő kifejezések felrobbanhatnak, ha elhagyja azt. A jó extrapoláció attól függ, hogy mi a „jó tipp”, mi történik a mintán kívüli régión kívül. Ami eljutott …
• Az extrapolációt gyakran rendkívül nehéz alkalmazni a fázisátmenetek jelenléte miatt. Számos olyan eljárás, amelyet extrapolálni kívánunk, határozottan nemlineáris tulajdonságokkal rendelkezik, amelyek nincsenek kellőképpen kitéve a mintában szereplő régiónak. A hangsebesség körüli repülés kiváló példa. Sok alacsonyabb sebességű extrapoláció szétesik, amikor eléri és meghaladja az információátadás sebességét a levegőben.Ez meglehetősen gyakran előfordul a puha tudományok esetében is, ahol maga a politika befolyásolhatja a politika sikerét. A keynesi gazdaságtan extrapolálta, hogy a gazdaság hogyan viselkedne különböző inflációs szintekkel, és megjósolta a lehető legjobb eredményt. Sajnos másodrendű hatások voltak, és az eredmény nem a gazdasági jólét volt, hanem az Egyesült Államok által látott legmagasabb inflációs ráta.
• Az emberek kedvelik az extrapolációkat. Általánosságban elmondható, hogy az emberek valóban azt akarják, hogy valaki belenézzen egy kristálygömbbe, és elmondja nekik a jövőt. Meglepően rossz extrapolációkat fognak elfogadni pusztán azért, mert ez az összes rendelkezésükre álló információ. Ez önmagában nem teheti rosszá az extrapolációt, de mindenképpen figyelembe kell vennie annak használatakor.

Az extrapoláció végeredményéhez vegye fontolóra a Manhattan-projektet. Az ottani fizikusok rendkívül kisméretű tesztekkel kénytelenek voltak dolgozni, mielőtt elkészítették volna az igazit. Egyszerűen nem volt annyi uránjuk, hogy a tesztekre pazaroljanak. A lehető legjobbat tették, és okosak voltak. Amikor azonban megtörtént az utolsó teszt, úgy döntöttek, hogy minden tudós eldönti, hogy milyen messze akarnak lenni a robbanástól, amikor az elindult. jelentős véleménykülönbségek voltak a „biztonságos” távolságtól, mert minden tudós tudta, hogy meglehetősen messze extrapolálják a tesztjeiket. Még egy nem triviális megfontolás is felmerült abban, hogy az atombombával felgyújthatják a légkört. Ez a kérdés szintén jelentős extrapolációval nyugszik meg!