Sanotaan, että $ y $: n ja $ x $: n välillä on jokin ”tosi” suhde että $ y = ax + b + \ epsilon $, missä $ a $ ja $ b $ ovat vakioita ja $ \ epsilon $ on normaalia kohinaa. Kun generoin satunnaisesti tietoja R-koodista: x <- 1:100; y <- ax + b + rnorm(length(x)) ja sopivat sitten malliin, kuten y ~ x, saan ilmeisesti kohtuullisen hyvät arviot dollareille $ a $ ja $ b $.
Jos vaihdan roolia muuttujista kuten kohdassa (x ~ y), ja kirjoita sitten $ y $ -tulos uudelleen $ x $: n funktiona, tuloksena oleva kaltevuus on aina jyrkempi (joko negatiivisempi tai enemmän positiivinen) kuin se, jonka y ~ x regressio arvioi. Yritän ymmärtää tarkalleen miksi se on ja arvostaisin sitä, jos joku voisi antaa minulle intuition siitä, mitä siellä tapahtuu .
Kommentit
- Että ’ ei totta yleensä. Ehkä sinä ’ näet tämän vain tiedoissasi. Liitä tämä koodi: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); osaksi R useita kertoja ja sinä ’ huomaat, että se menee molempiin suuntiin.
- Se ’ on hieman erilainen kuin mitä Kuvailin. Esimerkissä y ei ollut x: n ’ ta-funktio, joten ’ ei oikeastaan ole mitään ” kaltevuus ” (esimerkissäni ’ a ’).
- lm (y ~ x) sopii malliin $ y = \ beta_ {0} + \ beta_ {1} x + \ varepsilon $ pienimmillä neliöillä (vastaa ML-estimaattia, kun virheet ovat normaalia). On kaltevuus.
- Kysymyksesi kysytään ja siihen vastataan (tavallaan) osoitteissa stats.stackexchange.com/questions/13126 ja stats.stackexchange.com/questions/18434 . Uskon kuitenkin, ettei kukaan ole vielä antanut yksinkertaista ja selkeää selitystä suhteista (a) $ Y $: n regressio vs. $ X $: n (b) regressioon: $ X $ vs. $ X $: n (c) välillä korrelaation analyysi $ X $: sta ja $ Y $: sta, (d) $ X $: n ja $ Y $: n muuttujien virheiden regressio ja (e) kaksimuuttujan normaalijakauman sovittaminen arvoon $ (X, Y) $. Tämä olisi hyvä paikka tällaiselle näyttelylle :-).
- Makro on tietysti oikea: koska x ja y näyttävät vastaavia rooleja kysymyksessä, mikä kaltevuus on äärimmäisempi, on sattuman kysymys. Geometria ehdottaa kuitenkin (väärin), että kun käännämme x: n ja y: n taaksepäin regressiossa, meidän pitäisi saada alkuperäisen kaltevuuden recipocal . Sitä ei koskaan tapahdu paitsi silloin, kun x ja y ovat lineaarisesti riippuvaisia. Tämän kysymyksen voidaan tulkita kysyvän miksi.
Vastaa
Annetut $ n $ datapisteet $ (x_i, Y_i), i = 1,2, \ ldots n $, piirretään suorassa linjassa $ y = ax + b $. Jos ennustamme $ ax_i + b $ arvoksi $ \ hat {y} _i $ / $ y_i $, niin virhe on $ (y_i- \ hat {y} _i) = (y_i- ax_i-b) $, neliövirhe on $ (y_i-ax_i-b) ^ 2 $ ja neliövirhe $ \ sum_ {i = 1} ^ n (y_i-ax_i-b) ^ 2 $. Kysymme
Mikä valinta $ a $ ja $ b $ minimoi $ S = \ displaystyle \ sum_ {i = 1} ^ n (y_i-ax_i -b) ^ 2 $?
Koska $ (y_i-ax_i-b) $ on $ (x_i, y_i) $: n pystysuora etäisyys Suora viiva, pyydämme viivaa siten, että pisteiden pystysuorien etäisyyksien neliöiden summa suorasta on mahdollisimman pieni. Nyt $ S $ on sekä $ a $: n että $ b $: n neliöfunktio ja saavuttaa vähimmäisarvonsa, kun $ a $ ja $ b $ ovat sellaisia, että $$ \ begin {tasaa *} \ frac {\ osittainen S} {\ osittainen a} & = 2 \ sum_ {i = 1} ^ n (y_i-ax_i-b) (- x_i) & = 0 \\ \ frac {\ osittainen S} {\ osittainen b} & = 2 \ sum_ {i = 1} ^ n (y_i-ax_i-b) (- 1) & = 0 \ end {align *} $$ Toisesta yhtälöstä saadaan $$ b = \ frac {1} {n} \ sum_ {i = 1} ^ n ( y_i – ax_i) = \ mu_y – a \ mu_x $$, jossa $ \ displaystyle \ mu_y = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i, ~ \ mu_x = \ frac {1} {n } \ sum_ {i = 1} ^ n x_i $ ovat $ y_i $ ”s: n ja $ x_i $” s: n aritmeettiset keskiarvot. Korvaamalla ensimmäinen yhtälö saadaan $$ a = \ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2}. $$ Siten $ S $: n minimoiva viiva voidaan ilmaista muodossa $$ y = ax + b = \ mu_y + \ left (\ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ oikea) – \ mu_x \ mu_y} {\ vasen (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2} \ oikea) (x – \ mu_x), $$ ja $ S $: n vähimmäisarvo on $$ S _ {\ min} = \ frac {\ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ oikea) – \ mu_y ^ 2 \ oikea] \ vasen [\ vasen (\ frac {1} {n} \ summa_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2 \ oikea ] – \ vasen [\ vasen (\ frac {1} {n} \ summa_ {i = 1} ^ n x_iy_i \ oikea) – \ mu_x \ mu_y \ oikea] ^ 2} {\ vasen (\ frac {1} { n} \ sum_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2}.$$
Jos vaihdamme $ x $: n ja $ y $: n rooleja, piirrä viiva $ x = \ hat {a} y + \ hat {b} $ ja kysy arvot $ \ hat {a} $ ja $ \ hat {b} $, jotka minimoivat $$ T = \ sum_ {i = 1} ^ n (x_i – \ hat {a} y_i – \ hat {b}) ^ 2, $$ toisin sanoen haluamme suoran sellaiseksi, että pisteiden vaakasuuntaisten etäisyyksien neliöiden summa viivalta on mahdollisimman pieni, niin saamme
$$ x = \ hattu {a} y + \ hattu {b} = \ mu_x + \ left (\ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} {\ vasen (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ oikea) – \ mu_y ^ 2} \ oikea) (y – \ mu_y) $$ ja vähimmäisarvo / $ T $ on $$ T _ {\ min} = \ frac {\ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2 \ oikea] \ vasen [\ vasen (\ frac {1} {n} \ summa_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2 \ oikea] – \ vasen [\ vasen (\ frac { 1} {n} \ summa_ {i = 1} ^ n x_iy_i \ oikea) – \ mu_x \ mu_y \ oikea] ^ 2} {\ vasen (\ frac {1} {n} \ summa_ {i = 1} ^ n y_i ^ 2 \ oikea) – \ mu_y ^ 2}. $$
Huomaa, että molemmat viivat kulkevat pisteen $ (\ mu_x, \ mu_y) $ läpi, mutta rinteet ovat $$ a = \ frac { \ vasen (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_ i \ oikea) – \ mu_x \ mu_y} {\ vasen (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ oikea) – \ mu_x ^ 2}, ~~ \ hat {a } ^ {- 1} = \ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2} {\ left (\ frac {1 } {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} $$ ovat yleensä erilaisia. Itse asiassa, kuten @whuber huomauttaa kommentissa, kaltevuudet ovat samat, kun kaikki pisteet $ (x_i, y_i) $ ovat samalla suoralla. Huomaa tämä, että $$ \ hat {a} ^ {- 1} – a = \ frac {S _ {\ min}} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} = 0 \ Rightarrow S _ {\ min} = 0 \ Rightarrow y_i = ax_i + b, i = 1,2, \ ldots, n. $$
kommentit
- kiitos! abs (korrelaatio) < 1 selittää, miksi kaltevuus oli järjestelmällisesti jyrkempi päinvastaisessa tapauksessa.
- (+1), mutta lisäsin vastauksen vain kuvaan siitä mitä sanoit, koska minulla on geometrinen mieli 🙂
- Luokan vastaus (+1)
Vastaa
Vain Dilipin vastauksen havainnollistamiseksi: seuraavissa kuvissa
- mustat pisteet ovat datapisteitä;
- vasemmalla puolella musta viiva on
y ~ x: n saatu regressioviiva, joka minimoi punaisen segmentin pituuden neliöt; - oikealla, musta viiva on
x ~ y: n saama regressioviiva, joka minimoi punaisen segmentin pituuden neliöt.
Muokkaa (pienimmän suorakulmion regressio)
Jos ei ole luonnollista tapaa valita ”vastaus” ja ”kovariaatti”, mutta pikemminkin nämä kaksi muuttujaa ovat toisistaan riippuvaisia, voit säästää symmetrisen roolin $ y $: lle ja $ x $: lle ; tässä tapauksessa voit käyttää ”pienimmän suorakulmion regressiota”.
- kirjoita $ Y = aX + b + \ epsilon $, kuten tavallista;
- merkitse $ \ hat y_i = a x_i + b $ ja $ \ hat x_i = {1 \ yli a} (y_i – b) $ arviot $ Y_i $ ehdollisesta arvoon $ X = x_i $ ja $ X_i $ ehdolliset arvoon $ Y = y_i $;
- minimoi $ \ sum_i | x_i – \ hattu x_i | \ cdot | y_i – \ hattu y_i | $, joka johtaa $$ \ hattu y = \ mathrm {merkki} \ vasemmalle (\ mathrm {cov} (x, y) \ oikea) {\ hattu \ sigma_y \ yli \ hattu \ sigma_x} (x- \ overline x) + \ overline y. $$
Tässä on kuva, jossa on samat datapisteet, jokaiselle pisteelle ”suorakulmio” lasketaan kahden punaisen segmentin pituuden tulona ja suorakulmioiden summa on minimoidaan. En tiedä paljoakaan tämän regression ominaisuuksista, enkä löydä paljoakaan googlesta.
Kommentit
- Joitakin huomautuksia: ( 1 ) Ellei erehdy, näyttää siltä, että ” pienimmän suorakulmion regressio ” vastaa ratkaisua, joka saadaan ottamalla matriisin ensimmäinen pääkomponentti $ \ mathbf X = (\ mathbf y, \ mathbf x) $ keskityksen ja skaalauksen jälkeen on yksikkövarianssi ja sitten takaisin korvaava. (jatkuu)
- (jatkuu) ( 2 ) Tällä tavalla katsottuna on helppo nähdä, että tämä ” pienin suorakulmio regressio ” vastaa ortogonaalisten (tai yhteensä) pienimpien neliöiden muotoa ja siten ( 3 ) Erityistapaus Reging-regressiota keskitetyissä, skaalatuissa vektoreissa ottaen $ \ delta = 1 $. Ortogonaalisia pienimpiä neliöitä voidaan pitää ” vähiten ympyröiden regressiona ”.
- @cardinal Erittäin mielenkiintoisia kommentteja! (+1) Uskon pääakselin (minimoidaan kohtisuorat etäisyydet reg.viiva ja kaikki pisteet, à la PCA) tai pienentynyt pääakselin regressio tai tyypin II regressio, kuten esimerkissä P Legendren tekemä lmodel2 R -paketti ovat myös merkityksellisiä tässä, koska näitä tekniikoita käytetään, kun ’ on vaikea kerro mikä rooli (vaste tai ennustaja) pelaa kullekin muuttujalle tai milloin haluamme ottaa huomioon mittausvirheet.
- @chl: (+1) Kyllä, uskon, että olet oikeassa ja Wikipedia-sivu on vähiten neliö listaa useita muita nimiä samalle menettelylle, joista kaikki eivät tunnu. Vaikuttaa siltä, että palataan ainakin R. Frischiin, Tilastollinen yhtymisanalyysi täydellisten regressiojärjestelmien avulla , Universitetets Ø konomiske Instituut, 1934, jossa sitä kutsuttiin diagonaaliseksi regressioksi .
- @cardinal Minun olisi pitänyt olla varovaisempi lukemalla Wikipedia-merkintää … tulevaisuuden viite, tässä on kuva , joka on otettu biostatistisesta suunnittelusta ja analyysistä käyttämällä R , jonka on kirjoittanut M. Logan (Wiley, 2010; kuva 8.4, s. 174), jossa esitetään yhteenveto erilaisista lähestymistavoista, aivan kuten Elvis ’: n hienot kuvitukset.
Vastaus
Vain lyhyt huomautus siitä, miksi näet kaltevuuden pienemmäksi yhdelle regressiolle. Molemmat rinteet riippuvat kolmesta luvusta: standardipoikkeamat $ x $ ja $ y $ ($ s_ {x} $ ja $ s_ {y} $) ja korrelaatio välillä $ x $ ja $ y $ ($ r $). Regressiolla, jonka vasteena on $ y $, on kaltevuus $ r \ frac {s_ {y}} {s_ {x}} $ ja regressiolla, jonka vasteena on $ x $, kaltevuus on $ r \ frac {s_ {x}} {s_ {y}} $, joten ensimmäisen kaltevuuden suhde toisen vastaavaan on yhtä suuri kuin $ r ^ 2 \ leq 1 $.
Joten mitä suurempi varianssin osuus on selitetty, sitä lähempänä sitä kulloinkin saavutetut rinteet. Huomaa, että selitetyn varianssin osuus on symmetrinen ja yhtä suuri kuin neliökorrelaatio yksinkertaisessa lineaarisessa regressiossa.
Vastaus
Regressioviiva on ei (aina) sama kuin tosi suhde
Sinulla voi olla jokin ”tosi” syy-yhteys, kuten
$$ y = a + bx + \ epsilon $$
mutta sovitetut regressioviivat y ~ x tai x ~ y eivät tarkoita samaa koska syy-suhde (vaikka käytännössä yhden regressiolinjan lauseke voi olla sama kuin syy-”todellisen” suhteen lauseke)
Tarkempi suhde rinteiden välillä
Kahdelle vaihdetulle yksinkertaiselle lineaariselle regressiolle:
$$ Y = a_1 + b_1 X \\ X = a_2 + b_2 Y $$
voit liittää rinteet seuraavasti:
$$ b_1 = \ rho ^ 2 \ frac {1} {b_2} \ leq \ frac {1} {b_2} $$
Joten rinteet ovat eivät toisiaan käänteisesti.
Intuitio
Syynä on se, että
- regressioviivat ja korrelaatiot ei välttämättä vastaa henkilökohtaista syy-yhteyttä.
- Regressioviivat liittyvät suoremmin ehdolliseen todennäköisyyteen tai parhaisiin ennusteisiin.
Voitte kuvitella, että ehdollinen todennäköisyys liittyy suhteen vahvuuteen. Regressioviivat heijastavat tätä ja viivojen kaltevuudet voivat olla molemmat matalia, kun suhteen vahvuus on pieni, tai molemmat jyrkkiä, kun suhteen vahvuus on vahva. Rinteet eivät ole pelkästään toistensa käänteisiä.
Esimerkki
Jos kaksi muuttujaa $ X $ ja $ Y $ liittyvät toisiinsa jollakin (kausaalisella) lineaarisella suhteella $$ Y = \ text {vähän $ X + $ paljon virhettä} $$ Sitten voit kuvitella, että ei ole hyvä kääntää kyseinen suhde kokonaan, jos haluat ilmaista $ X $ perustuu annettuun arvoon $ Y $ .
Sen sijaan, että
$$ X = \ text {paljon $ Y + $ vähän virheitä} $$
olisi parempi käyttää myös
$$ X = \ text {vähän $ Y + $ paljon virheitä} $$
Katso seuraava esimerkkijakauma vastaavat regressioviivat.Jakaumat ovat monimuuttuja normaaleja $ \ Sigma_ {11} \ Sigma_ {22} = 1 $ ja $ \ Sigma_ {12 } = \ Sigma_ {21} = \ rho $
Ehdolliset odotetut arvot (mitkä saat lineaarisesta regressiosta) ovat
$$ \ begin {array} {} E (Y | X) & = & \ rho X \\ E (X | Y) & = & \ rho Y \ end {array} $$
ja tässä tapauksessa $ X, Y $ monimuuttujainen normaalijakauma, sitten marginaalijakaumat ovat
$$ \ begin {array} {} Y & \ sim & N (\ rho X, 1- \ rho ^ 2) \\ X & \ sim & N (\ rho Y, 1- \ rho ^ 2) \ end {array} $$
Joten voit nähdä muuttujan Y olevan par t $ \ rho X $ ja osamelu varianssilla $ 1- \ rho ^ 2 $ . Sama pätee päinvastoin.
Mitä suurempi korrelaatiokerroin $ \ rho $ , sitä lähempänä nämä kaksi viivaa ovat. Mutta mitä pienempi korrelaatio, sitä vähemmän vahva suhde, sitä vähemmän jyrkät viivat ovat (tämä pätee molempiin riveihin Y ~ X ja X ~ Y)
Kommentit
- Se on loistava selitys. Yksinkertainen ja intuitiivinen
vastaus
Yksinkertainen tapa tarkastella tätä on huomata, että jos totta model $ y = \ alpha + \ beta x + \ epsilon $ , suoritat kaksi regressiota:
- $ y = a_ {y \ sim x} + b_ {y \ sim x} x $
- $ x = a_ {x \ sim y} + b_ {x \ sim y} y $
Sitten olemme käyttäneet $ b_ {y \ sim x } = \ frac {cov (x, y)} {var (x)} = \ frac {cov (x, y)} {var (y)} \ frac {var (y)} {var (x)} $ :
$$ b_ {y \ sim x} = b_ {x \ sim y} \ frac {var (y)} {var ( x)} $$
Joten riipputko jyrkemmästä kaltevuudesta vai ei, riippuu vain suhteesta $ \ frac {var (y)} { var (x)} $ . Tämä suhde on yhtä suuri oletetun tosi mallin perusteella:
$$ \ frac {var (y)} {var (x)} = \ frac { \ beta ^ 2 var (x) + var (\ epsilon)} {var (x)} $$
Linkitä muihin vastauksiin
Voit yhdistää tämän tuloksen muiden vastausten kanssa, jotka sanoivat, että kun $ R ^ 2 = 1 $ , sen pitäisi olla vastavuoroinen. Todellakin, $ R ^ 2 = 1 \ Rightarrow var (\ epsilon) = 0 $ , ja myös $ b_ {y \ sim x} = \ beta $ (ei arviointivirhettä), siis:
$$ R ^ 2 = 1 \ Rightarrow b_ {y \ sim x} = b_ {x \ sim y} \ frac {\ beta ^ 2 var (x) + 0} {var (x)} = b_ {x \ sim y} \ beta ^ 2 $$
Joten $ b_ {x \ sim y} = 1 / \ beta $
Vastaa
Siitä tulee mielenkiintoista, kun tuloissasi on myös kohinaa (jonka voimme väittää olevan aina, mikään komento tai havainto ei ole koskaan täydellinen).
I ovat rakentaneet joitain simulaatioita ilmiön havaitsemiseksi yksinkertaisen lineaarisen suhteen $ x = y $ perusteella, Gaussin melun kanssa sekä x: ssä että y: ssä. Luo havainnot seuraavasti (python-koodi):
x = np.linspace(0, 1, n) y = x x_o = x + np.random.normal(0, 0.2, n) y_o = y + np.random.normal(0, 0.2, n) Katso eri tulokset (odr tässä on ortogonaalinen etäisyyden regressio, ts. sama kuin vähiten suorakulmien regressio):
Kaikki koodi on siellä:
https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd
vastaus
Lyhyt vastaus
Yksinkertaisen lineaarisen regression tavoitteena on saada aikaan parhaat ennusteet Muuttuja y, muuttujan x annetut arvot. Tämä on erilainen tavoite kuin yrittää saada paras ennuste muuttujalle x, annettujen muuttujan y arvojen id. p>
Yksinkertainen lineaarinen regressio parametrilla y ~ x antaa sinulle ”parhaan” mahdollisen mallin ennustaa y annettu x. Jos siis sovitat mallin malliin x ~ y ja käännät sen algebrallisesti, kyseinen malli voisi parhaimmillaan tehdä vain yhtä hyvin kuin malli y ~ x. x ~ y -sovellukseen sopivan mallin kääntäminen kuitenkin yleensä huonommin ennustaa y annettu x, verrattuna ”optimaaliseen” y ~ x -malliin, koska ”käänteinen x ~ y -malli” luotiin täyttämään toinen tavoite.
Kuva
Kuvittele, että sinulla on seuraava tietojoukko:
Kun suoritat OLS-regressiota y ~ x, keksit seuraavan mallin
y = 0.167 + 1.5*x Tämä optimoi y -ennusteen tekemällä seuraavat ennakoinnit, joihin liittyy virheitä:
OLS-regressio-ennusteet ovat optimaalisia siinä mielessä, että oikeanpuoleisimman sarakkeen arvojen summa (eli neliöiden summa) on niin pieni kuin mahdollista.
Kun suoritat OLS-regressiota x ~ y, keksi uusi malli:
x = -0.07 + 0.64*y Tämä optimoi x: n ennusteet tekemällä seuraavat ennusteet ja niihin liittyvät virheet.
Tämä on jälleen optimaalinen siinä mielessä, että oikeanpuoleisen sarakkeen arvojen summa on mahdollisimman pieni (yhtä suuri kuin 0.071).
Kuvittele nyt, että yritit kääntää ensimmäisen mallin y = 0.167 + 1.5*x käänteiseksi algebran avulla, jolloin saat mallin x = -0.11 + 0.67*x.
Tämä antaisi sinulle seuraavat ennusteet ja niihin liittyvät virheet:
Oikeanpuoleisen sarakkeen arvojen summa on 0.074, joka on suurempi kuin vastaava summa mallista, jonka saat regressoimalla x: n y: ssä, ts. Toisin sanoen ”käänteinen y ~ x -malli” tekee huonompaa työtä ennustettaessa x: n kuin OLS-malli x ~ y.