Soma de quadrados explicada - Explained sum of squares

Em estatística , a soma dos quadrados explicada ( ESS ), alternativamente conhecida como a soma dos quadrados do modelo ou soma dos quadrados devido à regressão ( SSR - não deve ser confundida com a soma dos quadrados residuais (RSS) ou soma dos quadrados dos erros) , é uma quantidade usada para descrever o quão bem um modelo, geralmente um modelo de regressão , representa os dados que estão sendo modelados. Em particular, a soma dos quadrados explicada mede quanta variação existe nos valores modelados e isso é comparado à soma total dos quadrados (TSS), que mede quanta variação há nos dados observados, e à soma residual de quadrados , que mede a variação do erro entre os dados observados e os valores modelados.

Definição

A soma dos quadrados explicados (ESS) é a soma dos quadrados dos desvios dos valores previstos do valor médio de uma variável de resposta, em um modelo de regressão padrão - por exemplo, y _i = a + b ₁ x _{1 i} + b ₂ x _{2 i} + ... + ε _i , onde y _i é o i ^th observação da variável de resposta , x _ji é o i ^th observação do j ^th variável de motivos , um e b _j são coeficientes , i indexa os observações de 1 a n , e ε _i é o i  ^ésimo valor do termo de erro . Em geral, quanto maior o ESS, melhor será o desempenho do modelo estimado.

Se e são os coeficientes estimados , então ${\ displaystyle {\ hat {a}}}$${\ displaystyle {\ hat {b}} _ {i}}$

${\ displaystyle {\ hat {y}} _ {i} = {\ hat {a}} + {\ hat {b}} _ {1} x_ {1i} + {\ hat {b}} _ {2} x_ {2i} + \ cdots \,}$

é o i  ^ésimo valor previsto da variável de resposta. O ESS é então:

${\ displaystyle {\ text {ESS}} = \ sum _ {i = 1} ^ {n} \ left ({\ hat {y}} _ {i} - {\ bar {y}} \ right) ^ { 2}.}$

onde o valor estimado pela linha de regressão.${\ displaystyle {\ hat {y}} _ {i}}$

Em alguns casos (veja abaixo): soma total dos quadrados  (TSS) = soma explicada dos quadrados (ESS) + soma residual dos quadrados  (RSS).

Particionamento em regressão linear simples

A seguinte igualdade, afirmando que a soma total dos quadrados (TSS) é igual à soma dos quadrados residuais (= SSE: a soma dos erros quadrados da previsão) mais a soma dos quadrados explicada (SSR: a soma dos quadrados devido à regressão ou explicada soma dos quadrados), geralmente é verdadeiro na regressão linear simples:

${\ displaystyle \ sum _ {i = 1} ^ {n} \ left (y_ {i} - {\ bar {y}} \ right) ^ {2} = \ sum _ {i = 1} ^ {n} \ left (y_ {i} - {\ hat {y}} _ {i} \ right) ^ {2} + \ sum _ {i = 1} ^ {n} \ left ({\ hat {y}} _ {i} - {\ bar {y}} \ direita) ^ {2}.}$

Derivação simples

${\ displaystyle {\ begin {alinhados} (y_ {i} - {\ bar {y}}) = (y_ {i} - {\ hat {y}} _ {i}) + ({\ hat {y} } _ {i} - {\ bar {y}}). \ end {alinhado}}}$

Quadrar ambos os lados e somar todos os i :

${\ displaystyle \ sum _ {i = 1} ^ {n} (y_ {i} - {\ bar {y}}) ^ {2} = \ sum _ {i = 1} ^ {n} (y_ {i } - {\ hat {y}} _ {i}) ^ {2} + \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y} }) ^ {2} + \ sum _ {i = 1} ^ {n} 2 ({\ hat {y}} _ {i} - {\ bar {y}}) (y_ {i} - {\ hat {y}} _ {i}).}$

Aqui está como o último termo acima é zero da regressão linear simples

${\ displaystyle {\ hat {y_ {i}}} = {\ hat {a}} + {\ hat {b}} x_ {i}}$

${\ displaystyle {\ bar {y}} = {\ hat {a}} + {\ hat {b}} {\ bar {x}}}$

${\ displaystyle {\ hat {b}} = {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) (y_ {i} - {\ bar {y}})} {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2}}}}$

Então,

${\ displaystyle {\ hat {y_ {i}}} - {\ bar {y}} = {\ hat {b}} (x_ {i} - {\ bar {x}})}$

${\ displaystyle y_ {i} - {\ hat {y}} _ {i} = (y_ {i} - {\ bar {y}}) - ({\ hat {y}} _ {i} - {\ bar {y}}) = (y_ {i} - {\ bar {y}}) - {\ hat {b}} (x_ {i} - {\ bar {x}})}$

Portanto,

${\ displaystyle {\ begin {alinhados} & \ sum _ {i = 1} ^ {n} 2 ({\ hat {y}} _ {i} - {\ bar {y}}) (y_ {i} - {\ hat {y}} _ {i}) = 2 {\ hat {b}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) (y_ { i} - {\ hat {y}} _ {i}) \\ [4pt] = {} & 2 {\ hat {b}} \ sum _ {i = 1} ^ {n} (x_ {i} - { \ bar {x}}) ((y_ {i} - {\ bar {y}}) - {\ hat {b}} (x_ {i} - {\ bar {x}})) \\ [4pt] = {} & 2 {\ hat {b}} \ left (\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) (y_ {i} - {\ bar { y}}) - \ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} {\ frac {\ sum _ {j = 1} ^ {n } (x_ {j} - {\ bar {x}}) (y_ {j} - {\ bar {y}})} {\ sum _ {j = 1} ^ {n} (x_ {j} - { \ bar {x}}) ^ {2}}} \ right) \\ [4pt] = {} & 2 {\ hat {b}} (0) = 0 \ end {alinhado}}}$

Particionamento no modelo de mínimos quadrados ordinários geral

O modelo de regressão geral com n observações e k explicadores, o primeiro dos quais é um vetor unitário constante cujo coeficiente é a interceptação da regressão, é

${\ displaystyle y = X \ beta + e}$

onde y é um vetor n × 1 de observações de variáveis ​​dependentes, cada coluna da matriz n × k X é um vetor de observações em um dos k explicadores, é um vetor k × 1 de coeficientes verdadeiros e e é um n × 1 vetor dos verdadeiros erros subjacentes. O estimador de mínimos quadrados ordinários para é ${\ displaystyle \ beta}$${\ displaystyle \ beta}$

${\ displaystyle {\ hat {\ beta}} = (X ^ {T} X) ^ {- 1} X ^ {T} y.}$

O vetor residual é , então a soma residual dos quadrados é, após simplificação, ${\ displaystyle {\ hat {e}}}$${\ displaystyle yX {\ hat {\ beta}} = yX (X ^ {T} X) ^ {- 1} X ^ {T} y}$${\ displaystyle {\ hat {e}} ^ {T} {\ hat {e}}}$

${\ displaystyle RSS = y ^ {T} yy ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y.}$

Denote como o vetor constante, cujos elementos são a média da amostra dos valores da variável dependente no vetor y . Então, a soma total dos quadrados é ${\ displaystyle {\ bar {y}}}$${\ displaystyle y_ {m}}$

${\ displaystyle TSS = (y - {\ bar {y}}) ^ {T} (y - {\ bar {y}}) = y ^ {T} y-2y ^ {T} {\ bar {y} } + {\ bar {y}} ^ {T} {\ bar {y}}.}$

A soma dos quadrados explicada, definida como a soma dos desvios quadrados dos valores previstos da média observada de y , é

${\ displaystyle ESS = ({\ hat {y}} - {\ bar {y}}) ^ {T} ({\ hat {y}} - {\ bar {y}}) = {\ hat {y} } ^ {T} {\ hat {y}} - 2 {\ hat {y}} ^ {T} {\ bar {y}} + {\ bar {y}} ^ {T} {\ bar {y} }.}$

Usando nisto, e simplificando para obter , dá o resultado que TSS = ESS + RSS se e somente se . O lado esquerdo disso é vezes a soma dos elementos de y , e o lado direito é vezes a soma dos elementos de , então a condição é que a soma dos elementos de y seja igual à soma dos elementos de , ou equivalentemente que a soma dos erros de predição (resíduos) é zero. Isso pode ser visto como verdadeiro observando a conhecida propriedade OLS de que o vetor k × 1 : uma vez que a primeira coluna de X é um vetor de uns, o primeiro elemento desse vetor é a soma dos resíduos e é igual a zero. Isso prova que a condição é válida para o resultado que TSS = ESS + RSS . ${\ displaystyle {\ hat {y}} = X {\ hat {\ beta}}}$${\ displaystyle {\ hat {y}} ^ {T} {\ hat {y}} = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y}$${\ displaystyle y ^ {T} {\ bar {y}} = {\ hat {y}} ^ {T} {\ bar {y}}}$${\ displaystyle y_ {m}}$${\ displaystyle y_ {m}}$${\ displaystyle {\ hat {y}}}$${\ displaystyle {\ hat {y}}}$${\ displaystyle y_ {i} - {\ hat {y}} _ {i}}$${\ displaystyle X ^ {T} {\ hat {e}} = X ^ {T} [IX (X ^ {T} X) ^ {- 1} X ^ {T}] y = 0}$${\ displaystyle X ^ {T} {\ hat {e}}}$

Em termos de álgebra linear, temos , , . A prova pode ser simplificada observando isso . A prova é a seguinte: ${\ displaystyle RSS = \ | y - {\ hat {y}} \ | ^ {2}}$${\ displaystyle TSS = \ | y - {\ bar {y}} \ | ^ {2}}$${\ displaystyle ESS = \ | {\ hat {y}} - {\ bar {y}} \ | ^ {2}}$${\ displaystyle y ^ {T} {\ hat {y}} = {\ hat {y}} ^ {T} y}$

${\ displaystyle y ^ {T} {\ hat {y}} = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} X (X ^ {T} X) ^ {-1} X ^ {T} y = y ^ {T} X (X ^ {T} X) ^ {- 1} X ^ {T} y = {\ hat {y}} ^ {T} y, }$

Desse modo,

${\ displaystyle {\ begin {align} TSS & = \ | y - {\ bar {y}} \ | ^ {2} = \ | y - {\ hat {y}} + {\ hat {y}} - { \ bar {y}} \ | ^ {2} \\ & = \ | y - {\ hat {y}} \ | ^ {2} + \ | {\ hat {y}} - {\ bar {y} } \ | ^ {2} +2 <y - {\ hat {y}}, {\ hat {y}} - {\ bar {y}}> \\ & = RSS + ESS + 2y ^ {T} { \ hat {y}} - 2 {\ hat {y}} ^ {T} {\ hat {y}} - 2y ^ {T} {\ bar {y}} + 2 {\ hat {y}} ^ { T} {\ bar {y}} \\ & = RSS + ESS-2y ^ {T} {\ bar {y}} + 2 {\ hat {y}} ^ {T} {\ bar {y}} \ fim {alinhado}}}$

que novamente dá o resultado que TSS = ESS + RSS , desde . ${\ displaystyle (y - {\ hat {y}}) ^ {T} {\ bar {y}} = 0}$

Veja também

• Soma dos quadrados (estatísticas)
• Soma de quadrados de falta de ajuste
• Fração de variância inexplicada

Notas

Referências

• SE Maxwell e HD Delaney (1990), "Projetando experimentos e analisando dados: Uma perspectiva de comparação de modelos". Wadsworth. pp. 289–290.
• GA Milliken e DE Johnson (1984), "Analysis of messy data", Vol. I: Experimentos planejados. Van Nostrand Reinhold. pp. 146–151.
• BG Tabachnick e LS Fidell (2007), "Experimental design using ANOVA". Duxbury. p. 220
• BG Tabachnick e LS Fidell (2007), "Usando estatísticas multivariadas", 5ª ed. Pearson Education. pp. 217–218.