Wat is er mis met extrapolatie?

Een regressiemodel wordt vaak gebruikt voor extrapolatie, dwz het voorspellen van de respons op een invoer die buiten het bereik van de waarden van de voorspellende variabele die wordt gebruikt om in het model te passen. Het gevaar van extrapolatie wordt geïllustreerd in de volgende afbeelding.

Deze xkcd strip legt het uit allemaal.

mg src = “https://i.stack.imgur.com/4QwTj.png” alt = “xkcd comic” title = “Door de derde trimester zullen er honderden babys in je zijn. “>

Met behulp van de datapunten die Cueball (de man met de stok) heeft, heeft hij geëxtrapoleerd dat de vrouw” vier dozijn “eind volgende maand echtgenoten, en gebruikten deze extrapolatie om te leiden tot de conclusie dat de bruidstaart in bulk was gekocht.

Bewerken 3: Voor degenen onder u die zeggen “hij heeft niet” genoeg gegevenspunten “, hij re “s nog een xkcd-strip :

mg src =” https://i.stack.imgur.com/7oDyK.png “alt =” xkcd comic “title =” Hoewel 100 jaar langer is dan veel van onze bronnen. “>

Hier, het gebruik van de Het woord “duurzaam” in de tijd wordt weergegeven op een semi-log-plot, en door de datapunten te extrapoleren, ontvangen we een onredelijke schatting van hoe vaak het woord “duurzaam” in de toekomst zal voorkomen.

Bewerk 2: Voor degenen onder u die zeggen “u heeft ook alle gegevens uit het verleden nodig”, nog een xkcd-strip: mg src = “https://i.stack.imgur.com/JTTW1.png” alt = “xkcd comic” title = “2031: Google verdedigt het draaien op het dak gemonteerde scanning-elektronenmicroscopen op Street View-autos, die zeggen dat ‘ niet ‘ iets kunnen onthullen dat niet ‘ wordt niet gezien door voetgangers die uw huis scannen met een elektronenmicroscoop.”>

Hier hebben we alle eerdere datapunten, maar we kunnen de resolutie van Google Earth. Merk op dat dit ook een semi-loggrafiek is.

Bewerken: Soms zelfs de sterkste van (r = .9979 in dit geval) correlaties zijn gewoon fout.

Als u extrapoleert zonder ander ondersteunend bewijs, dan impliceert u ook het overtreden van correlatie geen causaal verband ; nog een grote zonde in de statistiekwereld.

Als je X echter extrapoleert met Y, moet je ervoor zorgen dat je nauwkeurig kunt (genoeg om te voldoen aan uw vereisten) voorspel X met alleen Y. Bijna altijd zijn er meerdere factoren dan invloed op X.

_{I wil graag een link delen naar een ander antwoord dat het uitlegt in de woorden van Nassim Nicholas Taleb.}

Reacties

• xkcd heeft een grap over elk mogelijk wiskundig / statistisch probleem dat je kunt tegenkomen, ‘ niet?
• Dit idee kan net zo goed worden gebruikt als argument tegen interpolatie: ” gisteravond had je 0,5 echtgenoten “.
• @JiK Als je alleen weet dat ze er nu een heeft, en twee dagen geleden geen, dat is geen slechte inschatting 😉
• Duurzaam duurzaam Duurzaam duurzaam duurzaam duurzaam Duurzaam duurzaam. en.wikipedia.org/wiki/…
• meer xkcd, mensen!

” Voorspelling is erg moeilijk, vooral als het ” s over de toekomst “. Het citaat wordt in een of andere vorm aan veel mensen toegeschreven . Ik beperk het in het volgende ” extrapolatie ” naar ” voorspelling buiten het bekende bereik “, en in een eendimensionale setting, extrapolatie van een bekend verleden naar een onbekende toekomst.

Dus wat is er mis met extrapolatie. Ten eerste: het is niet eenvoudig om het verleden te modelleren. Ten tweede is het moeilijk om te weten of een model uit het verleden kan worden gebruikt voor de toekomst . Achter beide beweringen schuilen diepe vragen over causaliteit of ergodiciteit , voldoende verklarende variabelen, enz. Die nogal hoofdletterafhankelijk zijn. Wat er mis is, is dat het moeilijk is om een enkel extrapolatieschema te kiezen dat prima werkt in verschillende contexten, zonder veel extra informatie.

Deze generieke mismatch wordt duidelijk geïllustreerd in de Anscombe kwartet dataset hieronder weergegeven. De lineaire regressie is ook (buiten het $ x $ -coördinatenbereik) een instantie van extrapolatie. Op dezelfde lijn worden vier sets punten teruggenomen, met dezelfde standaardstatistieken. De onderliggende modellen zijn echter behoorlijk verschillend: de eerste is vrij standaard. De tweede is een parametrische modelfout (een polynoom van de tweede of derde graad zou beter geschikt kunnen zijn), de derde laat een perfecte pasvorm zien op één waarde na (uitbijter?), De vierde een gebrek aan gladde relaties (hysterese?).

Voorspellingen kunnen echter tot op zekere hoogte worden gecorrigeerd . Toevoegen aan andere antwoorden, een paar ingrediënten kunnen praktische extrapolatie helpen:

1. Je kunt de monsters wegen op basis van hun afstand (index $ n $ ) tot de locatie $ p $ waar u wilt extrapoleren. Gebruik bijvoorbeeld een oplopende functie $ f_p (n) $ (met $ p \ ge n $ ) , zoals exponentiële weging of afvlakking , of schuifvensters van steekproeven, om minder belang te hechten aan oudere waarden.
2. U kunt verschillende extrapolatiemodellen gebruiken en deze combineren of de beste selecteren ( Prognoses combineren , J.Scott Armstrong, 2001).Onlangs zijn er een aantal werken geweest over hun optimale combinatie (ik kan indien nodig referenties verstrekken).

Onlangs ben ik betrokken geweest bij een project voor het extrapoleren van waarden voor de communicatie van simulatie subsystemen in een real-time omgeving. Het dogma in dit domein was dat extrapolatie instabiliteit kan veroorzaken. We realiseerden ons eigenlijk dat het combineren van de twee bovenstaande ingrediënten zeer efficiënt was, zonder merkbare instabiliteit (nog zonder formeel bewijs: CHOPtrey: contextuele online polynoomextrapolatie voor verbeterde multi-core co-simulatie van complexe systemen , Simulatie, 2017). En de extrapolatie werkte met eenvoudige polynomen, met een zeer lage rekenbelasting, waarbij de meeste bewerkingen van tevoren werden berekend en opgeslagen in opzoektabellen.

Ten slotte, aangezien extrapolatie grappige tekeningen suggereert, is het volgende de achterwaartse effect van lineaire regressie:

Reacties

• +1 Goed antwoord. Volgens deze website lijkt het onwaarschijnlijk dat Bohr dit heeft gezegd. Het lijkt eerder een ongebruikelijk maar algemeen Deens spreekwoord te zijn.
• @ usεr11852 Het is onwaarschijnlijk dat hij ” ooit heeft gezegd dat “? Daarom zei ik ” toegeschreven “, moet ik voorzichtiger zijn?
• Ik heb nooit de ooit deel. Ik maakte deze opmerking omdat, gezien het feit dat het gezegde veel waarschijnlijker lijkt op een Deens spreekwoord, het toeschrijven aan een bepaalde (uiterst symbolische) Deen een beetje te hoge facturering lijkt te geven – vooral gezien het feit dat er geen gegevens zijn waarin Bohr het zegt. De oorspronkelijke auteur is misschien een niet nader genoemde visser die commentaar geeft op de vangst van morgen ‘! Ik wroet hier voor de kleine man! : D
• Het is ook erg moeilijk om eerdere citaatlegendes te modelleren.
• De vraag gebruikt zeker beide woorden: het hele punt is of ” prognose ” moet worden beschouwd als een vorm van ” extrapolatie. ” Volgens uw inleidende opmerkingen, lijkt u extrapolatie te definiëren als het gebruik van het verleden om ” de toekomst te modelleren. ” Tot u duidelijke en duidelijke definities van elk geeft, uw antwoord kan verkeerd worden begrepen.

Hoewel de pasvorm van een model misschien “ goed is “, extrapolatie buiten het bereik van de gegevens moet sceptisch worden behandeld. De reden is dat extrapolatie in veel gevallen (helaas en onvermijdelijk) berust op niet-testbare aannames over het gedrag van de gegevens buiten hun geobserveerde ondersteuning.

Bij extrapolatie moet men twee beoordelingsoproepen doen: Ten eerste, vanuit een kwantitatief perspectief , hoe valide is het model buiten het bereik van de gegevens? Ten tweede: hoe plausibel is, vanuit een kwalitatief perspectief, een punt $ x_ {out} $ dat buiten het geobserveerde steekproefbereik ligt als lid van de populatie die we voor de steekproef aannemen? Omdat beide vragen een zekere mate van ambiguïteit inhouden, wordt extrapolatie ook als een ambigue techniek beschouwd. Als je redenen hebt om aan te nemen dat deze aannames kloppen, dan is extrapolatie meestal een geldige inferentiële procedure.

Een bijkomend voorbehoud is dat veel niet-parametrische schattingstechnieken native extrapolatie niet mogelijk maken. Dit probleem is vooral merkbaar in het geval van het gladmaken van de spiebanen waar er geen knopen meer zijn om de gemonteerde spie te verankeren.

Laat me benadrukken dat extrapolatie verre van slecht is. Numerieke methoden die bijvoorbeeld veel worden gebruikt in Statistieken (bijvoorbeeld Aitken “s deltakwadraatproces en Richardson” s Extrapolatie ) zijn in wezen extrapolatieschemas die gebaseerd zijn op het idee dat het onderliggende gedrag van de functie die is geanalyseerd voor de geobserveerde gegevens stabiel blijft binnen de ondersteuning van de functie.

Opmerkingen

• Hoewel het mogelijk is om beveiligingen te schrijven voor Wynn $ \ varepsilon $ (de computationeel bruikbare generalisatie van Aitken $ \ Delta ^ 2 $) en Richardson-extrapolatie, kan het gebeuren dat de aannames die eraan ten grondslag liggen algoritmen zijn niet erg tevreden met sequenties die eraan worden toegevoerd. Wanneer deze extrapolatiemethoden worden gebruikt met sequenties van onzekere herkomst, zal de voldoende paranoïde persoon gewoonlijk twee of meer van deze convergentieversnellingsmethoden bij de hand hebben om te testen, en zal hij de resultaten alleen vertrouwen als Ten minste twee van deze conceptueel zeer verschillende methoden zijn het erover eens e in hun resultaten.

In tegenstelling tot andere antwoorden, zou ik zeggen dat er niets aan de hand is met extrapolatie voor zover het niet op een onzinnige manier wordt gebruikt.Merk allereerst op dat extrapolatie is :

het proces van schatten, verder dan het origineel observatiebereik, de waarde van een variabele op basis van zijn relatie met een andere variabele.

… dus het is erg brede term en veel verschillende methoden, variërend van eenvoudige lineaire extrapolatie tot lineaire regressie, polynoomregressie of zelfs enkele geavanceerde tijdreeksvoorspellingsmethoden passen in deze definitie. In feite zijn extrapolatie, voorspelling en voorspelling nauw met elkaar verbonden. In statistieken maken we vaak voorspellingen en voorspellingen . Dit is ook wat de link waarnaar u verwijst, zegt:

We hebben vanaf dag 1 van de statistieken geleerd dat extrapolatie is een groot nee-nee, maar dat is precies wat voorspellen is.

Veel extrapolatiemethoden worden gebruikt voor het maken van voorspellingen, bovendien werken vaak sommige eenvoudige methoden redelijk goed met kleine steekproeven, dus kunnen deze de voorkeur hebben dan de ingewikkelde. Het probleem is, zoals opgemerkt in andere antwoorden, wanneer je de extrapolatiemethode op een verkeerde manier gebruikt.

Veel studies tonen bijvoorbeeld aan dat de leeftijd van seksuele initiatie in westerse landen in de loop van de tijd afneemt. Bekijk hieronder een plot over de leeftijd van eerste geslachtsgemeenschap in de VS. Als we blindelings lineaire regressie zouden gebruiken om de leeftijd van de eerste geslachtsgemeenschap te voorspellen, zouden we voorspellen dat deze na een aantal jaren onder nul zal komen (dienovereenkomstig met het eerste huwelijk en de eerste geboorte op een bepaald moment na de dood) … Als u echter voorspelling voor een jaar vooruit, dan “denk ik dat lineaire regressie zou leiden tot vrij nauwkeurige korte-termijnvoorspellingen voor de trend.

(bron guttmacher.org )

Een ander geweldig voorbeeld komt uit een heel ander domein, aangezien het gaat om ” extrapolatie van ” voor tests uitgevoerd door Microsoft Excel, zoals hieronder weergegeven (Ik weet niet of dit al is opgelost of niet). Ik ken de auteur van deze afbeelding niet, hij komt van Giphy .

Alle modellen kloppen niet , extrapolatie is ook verkeerd, aangezien u hiermee geen precieze voorspellingen kunt doen. Net als andere wiskundige / statistische hulpmiddelen stelt het u in staat om benaderende voorspellingen te doen. De mate waarin ze nauwkeurig zullen zijn, hangt af van de kwaliteit van de gegevens waarover u beschikt, met behulp van methoden die geschikt zijn voor uw probleem, de aannames die u hebt gemaakt tijdens het definiëren van uw model en vele andere factoren. Maar dit betekent niet dat we dergelijke methoden niet kunnen gebruiken. Dat kunnen we, maar we moeten hun beperkingen onthouden en hun kwaliteit beoordelen voor een bepaald probleem.

Opmerkingen

• Wanneer de gegevens die u gebruikt voor regressie eindigen in het begin van de jaren tachtig, kunt u waarschijnlijk gemakkelijk testen hoelang na die datum extrapolatie zou werken.
• @gerrit Ik ga akkoord, maar helaas kon ik ‘ geen geschikte gegevens vinden. Maar als iemand het naar mij zou kunnen wijzen, ‘ zou ik mijn antwoord graag bijwerken voor een dergelijke vergelijking.
• In dit geval mislukt de extrapolatie, aangezien de leeftijd van het eerste geslacht is de afgelopen jaren enorm gestegen. (Maar de gegevens hiervoor liggen altijd een paar decennia achter bij het geboortejaar, om redenen die voor de hand liggen.)

Ik vind het voorbeeld van Nassim Taleb (dat een aanpassing was van een eerder voorbeeld van Bertrand Russell) heel mooi:

Beschouw een kalkoen die elke dag gevoerd. Elke keer dat ze gevoerd worden, zal de vogel de overtuiging versterken dat het de algemene levensregel is om elke dag gevoed te worden door vriendelijke leden van het menselijk ras die uitkijken naar zijn beste belangen, zoals een politicus zou zeggen. de woensdag voor Thanksgiving zal er iets onverwachts gebeuren met de kalkoen. Het zal een herziening van het geloof met zich meebrengen.

Enkele wiskundige analogen zijn de volgende:

• kennis van de eerste paar Taylor-coëfficiënten van een functie garandeert niet altijd dat de volgende coëfficiënten uw veronderstelde patroon zullen volgen.

• kennis van de beginvoorwaarden van een differentiaalvergelijking garanderen niet altijd kennis van het asymptotische gedrag ervan (bijv. de vergelijkingen van Lorenz, soms vervormd tot het zogenaamde “vlindereffect”)

Hier is een leuke MO-thread over deze kwestie.

Reacties

• … en natuurlijk moet Taleb wijzen op de morele les: ” don ‘ t be a turkey “! In deze context: don ‘ wees geen onzorgvuldige extrapolator en geef niet ‘ toe aan de zonde van hoogmoed.
• @ uoɥʇʎPʎzɐɹC, ik was niet ‘ ik vraag er niet om, maar bedankt!
• gebruik ‘ niet echt een cross-validated reputatie – en niemand heeft je antwoord gezien en het was erg goed. Veel plezier!

Denk na over het volgende verhaal, als je wilt.

Ik herinner me ook dat ik in een cursus statistiek zat, en de professor vertelde ons dat extrapolatie een slecht idee was. Toen vertelde hij ons tijdens de volgende les dat het weer een slecht idee was; hij zei het zelfs twee keer.

Ik was ziek voor de rest van het semester, maar ik wist zeker dat ik niet veel materiaal had kunnen missen, want de laatste week moet de man zeker ik deed niets anders dan mensen keer op keer te vertellen dat extrapolatie een slecht idee was.

Vreemd genoeg scoorde ik niet erg hoog op het examen.

Opmerkingen

• De vraag stelt ” wat is er mis met extrapolatie? “. We zijn op zoek naar antwoorden die redenen geven waarom extrapolatie een slecht idee zou kunnen zijn.
• @RobertLong: Het is ‘ eigenlijk een soort meta / grapantwoord, en vergelijkbaar met xkcd.com/605 – misschien nog beter als opmerking dan als antwoord.
• @NeilSlater: Je had moeten posten je opmerking als antwoord … 🙂
• @RobertLong: Dit is dat soort antwoord. Het heeft gewoon de vorm van een gelijkenis.
• Het is niet duidelijk dat uw model exponentieel is.

De vraag is niet alleen statistisch, maar ook epistemologisch. Extrapolatie is een van de manieren waarop we meer te weten komen over de aard, het is een vorm van inductie . Stel dat we gegevens hebben voor de elektrische geleidbaarheid van een materiaal in een temperatuurbereik van 0 tot 20 graden Celsius, wat kunnen we zeggen over de geleidbaarheid bij 40 graden Celsius?

Het is nauw verwant aan kleine steekproefconferentie: wat kunnen we zeggen over de hele populatie op basis van metingen die zijn uitgevoerd op een kleine steekproef? Dit werd gestart door Gosset als Guiness , die op de proppen kwam met Student t-distributies. Vóór hem namen statistici niet de moeite om aan kleine monsters te denken, ervan uitgaande dat de monstergrootte altijd groot kan zijn. Hij was in Guinnes en had te maken met monsters van bier om te beslissen wat te doen met de hele partij bier die moest worden verzonden. p>

In de praktijk (business), techniek en wetenschap moeten we dus altijd op een of andere manier extrapoleren. Het kan zijn dat we kleine steekproeven naar grote steekproeven extrapoleren, of van een beperkt aantal invoervoorwaarden naar een bredere reeks voorwaarden, van wat er in het gaspedaal gebeurt met wat er met een zwart gat miljarden kilometers verderop is gebeurd, enz. Het is echter vooral belangrijk in de wetenschap, aangezien we echt leren door de discrepanties tussen onze extrapolatieschattingen en feitelijke metingen te bestuderen. Vaak vinden we nieuwe verschijnselen wanneer de discrepanties groot of consistent zijn.

daarom zeg ik dat er geen probleem is met extrapolatie. Het is iets dat we elke dag moeten doen. Het is gewoon moeilijk.

Extrapolatie zelf is niet per se slecht, maar het is een proces dat zich leent voor conclusies die onredelijker zijn dan u bereikt met interpolatie.

• Extrapolatie wordt vaak gedaan om waarden te onderzoeken die ver van het bemonsterde gebied liggen. Als ik 100 waarden van 0 tot 10 steek en dan een klein beetje extrapoleer, slechts naar 11, dan is mijn nieuwe punt waarschijnlijk 10 keer verder verwijderd van een datapunt dan een interpolatie ooit zou kunnen krijgen. Dit betekent dat er een dat veel meer ruimte voor een variabele om (kwalitatief) uit de hand te lopen. Merk op dat ik met opzet slechts een kleine extrapolatie heb gekozen. Het kan veel erger worden.
• Extrapolatie moet worden gedaan met curve-aanpassingen die bedoeld waren om extrapolatie te doen. Veel polynoomaanpassingen zijn bijvoorbeeld erg slecht voor extrapolatie, omdat termen die zich goed gedragen binnen het bemonsterde bereik, kunnen exploderen zodra u het verlaat. Een goede extrapolatie hangt af van een “goede gok” van wat er buiten het bemonsterde gebied gebeurt. Dat brengt me bij …
• Het is vaak buitengewoon moeilijk om extrapolatie toe te passen vanwege de aanwezigheid van faseovergangen. Veel processen waarop men zou willen extrapoleren, hebben beslist niet-lineaire eigenschappen die niet voldoende worden belicht over het bemonsterde gebied. Luchtvaart rond de snelheid van geluid is een uitstekend voorbeeld. Veel extrapolaties van lagere snelheden vallen uiteen als je de snelheid van informatieoverdracht in de lucht bereikt en overschrijdt.Dit komt ook vrij vaak voor bij soft sciences, waar het beleid zelf het succes van het beleid kan beïnvloeden. De keynesiaanse economie heeft geëxtrapoleerd hoe de economie zich zou gedragen bij verschillende inflatieniveaus, en voorspelde het best mogelijke resultaat. Helaas waren er tweede orde effecten en het resultaat was geen economische welvaart, maar eerder een van de hoogste inflatiecijfers die de VS heeft gezien.
• Mensen houden van extrapolaties. Over het algemeen willen mensen echt dat iemand in een kristallen bol kijkt en hen de toekomst vertelt. Ze accepteren verrassend slechte extrapolaties, simpelweg omdat het alle informatie is die ze hebben. Dit maakt de extrapolatie op zich misschien niet slecht, maar het is zeker iets waar je rekening mee moet houden bij het gebruik ervan.

Overweeg voor de ultieme extrapolatie het Manhattan-project. De natuurkundigen daar werden gedwongen om met extreem kleinschalige tests te werken voordat ze het echte werk bouwden. Ze hadden gewoon niet genoeg uranium om te verspillen aan tests. Ze deden hun best, en ze waren slim. Toen de laatste test plaatsvond, werd echter besloten dat elke wetenschapper zou beslissen hoe ver ze van de explosie wilden zijn wanneer deze afging. Er waren substantiële meningsverschillen over hoe ver weg “veilig” was, omdat alle wetenschappers wisten dat ze tamelijk ver van hun tests extrapoleerden. Er was zelfs een niet-triviale overweging dat ze de atmosfeer in brand zouden kunnen steken met de atoombom, een kwestie die ook met substantiële extrapolatie tot stilstand werd gebracht!

Veel goede antwoorden hier, ik wil gewoon proberen te synthetiseren wat ik zie als de kern van het probleem: het is gevaarlijk om te extrapoleren buiten dat gegevensgenererende proces dat aanleiding gaf tot de schattingssteekproef. Dit wordt ook wel een “structurele verandering” genoemd.

Voorspellingen worden geleverd met veronderstellingen, waarvan de belangrijkste is dat het gegevensgenererende proces (zo goed als geen significant verschil maakt) hetzelfde is als het proces dat de steekproef heeft gegenereerd (behalve de rhs-variabelen, waarvan u expliciet rekening mee houden in het model). Als er een structurele verandering optreedt (bijvoorbeeld Thanksgiving in het voorbeeld van Taleb), zijn alle weddenschappen uitgeschakeld.