Efeito da mudança de resposta e variável explicativa na regressão linear simples

Dados $ n $ pontos de dados $ (x_i, y_i), i = 1,2, \ ldots n $, no plano, vamos desenhar uma linha reta $ y = ax + b $. Se prevermos $ ax_i + b $ como o valor $ \ hat {y} _i $ de $ y_i $, então o erro é $ (y_i- \ hat {y} _i) = (y_i- ax_i-b) $, o erro quadrático é $ (y_i-ax_i-b) ^ 2 $, e o erro quadrático total $ \ sum_ {i = 1} ^ n (y_i-ax_i-b) ^ 2 $. Perguntamos

Que escolha de $ a $ e $ b $ minimiza $ S = \ displaystyle \ sum_ {i = 1} ^ n (y_i-ax_i -b) ^ 2 $?

Visto que $ (y_i-ax_i-b) $ é a distância vertical de $ (x_i, y_i) $ do reta, estamos pedindo a linha de forma que a soma dos quadrados das distâncias verticais dos pontos da linha seja a menor possível. Agora $ S $ é uma função quadrática de $ a $ e $ b $ e atinge seu valor mínimo quando $ a $ e $ b $ são tais que $$ \ begin {align *} \ frac {\ partial S} {\ parcial a} & = 2 \ sum_ {i = 1} ^ n (y_i-ax_i-b) (- x_i) & = 0 \\ \ frac {\ partial S} {\ partial b} & = 2 \ sum_ {i = 1} ^ n (y_i-ax_i-b) (- 1) & = 0 \ end {align *} $$ Da segunda equação, obtemos $$ b = \ frac {1} {n} \ sum_ {i = 1} ^ n ( y_i – ax_i) = \ mu_y – a \ mu_x $$ onde $ \ displaystyle \ mu_y = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i, ~ \ mu_x = \ frac {1} {n } \ sum_ {i = 1} ^ n x_i $ são os valores da média aritmética de $ y_i $ “se $ x_i $” s respectivamente. Substituindo na primeira equação, obtemos $$ a = \ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ direita) – \ mu_x ^ 2}. $$ Assim, a linha que minimiza $ S $ pode ser expressa como $$ y = ax + b = \ mu_y + \ left (\ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ right) – \ mu_x ^ 2} \ right) (x – \ mu_x), $$ e o valor mínimo de $ S $ é $$ S _ {\ min} = \ frac {\ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2 \ right] \ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ right) – \ mu_x ^ 2 \ right ] – \ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y \ right] ^ 2} {\ left (\ frac {1} { n} \ sum_ {i = 1} ^ n x_i ^ 2 \ direita) – \ mu_x ^ 2}.$$

Se trocarmos os papéis de $ x $ e $ y $, desenhe uma linha $ x = \ hat {a} y + \ hat {b} $, e peça os valores de $ \ hat {a} $ e $ \ hat {b} $ que minimizam $$ T = \ sum_ {i = 1} ^ n (x_i – \ hat {a} y_i – \ hat {b}) ^ 2, $$ ou seja, queremos a linha de forma que a soma dos quadrados das distâncias horizontais dos pontos da linha seja a menor possível, então obtemos

$$ x = \ hat {a} y + \ hat {b} = \ mu_x + \ left (\ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2} \ right) (y – \ mu_y) $$ e o valor mínimo de $ T $ é $$ T _ {\ min} = \ frac {\ left [\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2 \ direita] \ esquerda [\ esquerda (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ direita) – \ mu_x ^ 2 \ direita] – \ esquerda [\ esquerda (\ frac { 1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y \ right] ^ 2} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2}. $$

Observe que ambas as linhas passam pelo ponto $ (\ mu_x, \ mu_y) $ mas as inclinações são $$ a = \ frac { \ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_ i \ right) – \ mu_x \ mu_y} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_i ^ 2 \ right) – \ mu_x ^ 2}, ~~ \ hat {a } ^ {- 1} = \ frac {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ 2 \ right) – \ mu_y ^ 2} {\ left (\ frac {1 } {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} $$ são diferentes em geral. De fato, como @whuber aponta em um comentário, as inclinações são as mesmas quando todos os pontos $ (x_i, y_i) $ estão na mesma linha reta. Para ver isso, observe que $$ \ hat {a} ^ {- 1} – a = \ frac {S _ {\ min}} {\ left (\ frac {1} {n} \ sum_ {i = 1} ^ n x_iy_i \ right) – \ mu_x \ mu_y} = 0 \ Rightarrow S _ {\ min} = 0 \ Rightarrow y_i = ax_i + b, i = 1,2, \ ldots, n. $$

Comentários

• Obrigado! abs (correlação) < 1 explica por que a inclinação era sistematicamente mais acentuada no caso inverso.
• (+1) mas acrescentei uma resposta com apenas uma ilustração do que você acabou de dizer, visto que tenho uma mente geométrica 🙂
• Resposta da classe (+1)

Apenas uma breve observação sobre por que você vê a inclinação menor para uma regressão. Ambas as inclinações dependem de três números: desvios padrão de $ x $ e $ y $ ($ s_ {x} $ e $ s_ {y} $), e correlação entre $ x $ e $ y $ ($ r $). A regressão com $ y $ como resposta tem inclinação $ r \ frac {s_ {y}} {s_ {x}} $ e a regressão com $ x $ como resposta tem inclinação $ r \ frac {s_ {x}} {s_ {y}} $, portanto, a razão da primeira inclinação para o recíproco da segunda é igual a $ r ^ 2 \ leq 1 $.

Portanto, quanto maior a proporção da variância explicada, mais próximo o inclinações obtidas em cada caso. Observe que a proporção da variância explicada é simétrica e igual à correlação quadrada na regressão linear simples.

A linha de regressão é não (sempre) o mesmo que relacionamento verdadeiro

Você pode ter algum relacionamento causal “verdadeiro” como

$$ y = a + bx + \ epsilon $$

mas as linhas de regressão ajustadas y ~ x ou x ~ y não significam o mesmo como essa relação causal (mesmo quando na prática a expressão para uma das linhas de regressão pode coincidir com a expressão para a relação causal “verdadeira”)

Relação mais precisa entre inclinações

Para duas regressões lineares simples comutadas:

$$ Y = a_1 + b_1 X \\ X = a_2 + b_2 Y $$

você pode relacionar as inclinações da seguinte maneira:

$$ b_1 = \ rho ^ 2 \ frac {1} {b_2} \ leq \ frac {1} {b_2} $$

Então, as encostas são não entre si.

Intuição

A razão é que

• Linhas de regressão e correlações sim não necessariamente corresponde um a um a uma relação causal.
• As linhas de regressão se relacionam mais diretamente a uma probabilidade condicional ou melhor previsão.

Você pode imaginar que a probabilidade condicional se relaciona com a força do relacionamento. As linhas de regressão refletem isso e as inclinações das linhas podem ser rasas quando a força da relação é pequena ou ambas íngremes quando a força da relação é forte. As inclinações não são simplesmente inversas.

Exemplo

Se duas variáveis $ X $ e $ Y $ se relacionam uns com os outros por alguma relação linear (causal) $$ Y = \ text {um pouco de $ X + $ muito de erro} $$ Então você pode imaginar que não seria bom reverter totalmente essa relação no caso de desejar expressar $ X $ com base em um determinado valor de $ Y $ .

Em vez de

$$ X = \ text {muito $ Y + $ um pouco de erro} $$

seria melhor usar também

$$ X = \ text {um pouco de $ Y + $ um monte de erro} $$

Veja as seguintes distribuições de exemplo com seus respectivas linhas de regressão.As distribuições são multivariadas normais com $ \ Sigma_ {11} \ Sigma_ {22} = 1 $ e $ \ Sigma_ {12 } = \ Sigma_ {21} = \ rho $

Os valores condicionais esperados (o que você obteria em uma regressão linear) são

$$ \ begin {array} {} E (Y | X) & = & \ rho X \\ E (X | Y) & = & \ rho Y \ end {array} $$

e neste caso com $ X, Y $ uma distribuição normal multivariada, então as distribuições marginais são

$$ \ begin {array} {} Y & \ sim & N (\ rho X, 1- \ rho ^ 2) \\ X & \ sim & N (\ rho Y, 1- \ rho ^ 2) \ end {array} $$

Então você pode veja a variável Y como sendo um par t $ \ rho X $ e um ruído parcial com variação $ 1- \ rho ^ 2 $ . O mesmo é verdadeiro ao contrário.

Quanto maior o coeficiente de correlação $ \ rho $ , mais próximas estarão as duas linhas. Mas quanto mais baixa a correlação, menos forte é a relação e menos íngremes as linhas serão (isso é verdade para ambas as linhas Y ~ X e X ~ Y)

Comentários

• Essa é uma explicação excelente. Simples e intuitivo

Uma maneira simples de olhar para isso é observar que, se for verdadeiro modelo $ y = \ alpha + \ beta x + \ epsilon $ , você executa duas regressões:

• $ y = a_ {y \ sim x} + b_ {y \ sim x} x $
• $ x = a_ {x \ sim y} + b_ {x \ sim y} y $

Então temos, usando $ b_ {y \ sim x } = \ frac {cov (x, y)} {var (x)} = \ frac {cov (x, y)} {var (y)} \ frac {var (y)} {var (x)} $ :

$$ b_ {y \ sim x} = b_ {x \ sim y} \ frac {var (y)} {var ( x)} $$

Portanto, se você obtém uma inclinação mais íngreme ou não depende apenas da proporção $ \ frac {var (y)} { var (x)} $ . Esta proporção é igual a, com base no modelo verdadeiro assumido:

$$ \ frac {var (y)} {var (x)} = \ frac { \ beta ^ 2 var (x) + var (\ epsilon)} {var (x)} $$

Link para outras respostas

Você pode conectar este resultado com as respostas de outros, que disseram que quando $ R ^ 2 = 1 $ , deveria ser o recíproco. Na verdade, $ R ^ 2 = 1 \ Rightarrow var (\ epsilon) = 0 $ , e também, $ b_ {y \ sim x} = \ beta $ (sem erro de estimativa), portanto:

$$ R ^ 2 = 1 \ Rightarrow b_ {y \ sim x} = b_ {x \ sim y} \ frac {\ beta ^ 2 var (x) + 0} {var (x)} = b_ {x \ sim y} \ beta ^ 2 $$

Portanto, $ b_ {x \ sim y} = 1 / \ beta $

Torna-se interessante quando também há ruído em suas entradas (o que poderíamos argumentar que é sempre o caso, nenhum comando ou observação é perfeito).

I construíram algumas simulações para observar o fenômeno, com base em uma relação linear simples $ x = y $, com ruído gaussiano em x e y. Eu gerei as observações da seguinte maneira (código python):

x = np.linspace(0, 1, n) y = x x_o = x + np.random.normal(0, 0.2, n) y_o = y + np.random.normal(0, 0.2, n) 

Veja os diferentes resultados (odr aqui é ortogonal regressão de distância, ou seja, o mesmo que regressão de retângulos mínimos):

Todo o código está lá:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

A resposta curta

O objetivo de uma regressão linear simples é chegar às melhores previsões do y variável, dados os valores da variável x. Este é um objetivo diferente de tentar chegar à melhor previsão da variável x, dados os valores da variável y.

A regressão linear simples de y ~ x oferece o “melhor” modelo possível para prever y dado x. Portanto, se você ajustar um modelo para x ~ y e invertê-lo algebricamente, esse modelo poderia, da melhor maneira, funcionar tão bem quanto o modelo para y ~ x. Mas inverter um modelo adequado para x ~ y geralmente terá um desempenho pior na previsão y dado x em comparação com o modelo “ideal” y ~ x, porque o modelo “invertido x ~ y” foi criado para cumprir um objetivo diferente.

Ilustração

Imagine que você tenha o seguinte conjunto de dados:

Quando você executa uma regressão OLS de y ~ x, você chega com o seguinte modelo

y = 0.167 + 1.5*x 

Isso otimiza as previsões de y fazendo as seguintes previsões, que têm erros associados:

As previsões da regressão OLS são ideais no sentido de que o soma dos valores na coluna mais à direita (ou seja, a soma dos quadrados) é o menor possível.

Quando você executa uma regressão OLS de x ~ y, você venha com um modelo diferente:

x = -0.07 + 0.64*y 

Isso otimiza as previsões de x fazendo as seguintes previsões, com erros associados.

Novamente, isso é ótimo no sentido de que a soma dos valores da coluna mais à direita é a menor possível (igual a 0.071).

Agora, imagine que você tentou apenas inverter o primeiro modelo, y = 0.167 + 1.5*x, usando álgebra, fornecendo o modelo x = -0.11 + 0.67*x.

Isso forneceria as seguintes previsões e erros associados:

A soma dos valores na coluna mais à direita é 0.074, que é maior que a soma correspondente do modelo que você obtém ao regredir x em y, ou seja, o modelo x ~ y Em outras palavras, o “modelo y ~ x invertido” está fazendo um trabalho pior na previsão de x do que o modelo OLS de x ~ y.