ESTATISTICA Regressão Linear Multipla - usando SPSS

Prévia do material em texto

<p>Estatística - Análise de Regressão Linear Multipla</p><p>Professor José Alberto - (11) 9.7525-3343</p><p>jose.alberto1965@terra.com.br</p><p>1</p><p>Estatística - Análise de Regressão Linear Multipla</p><p>1 Regressão Linear Múltipla</p><p>Regressão múltipla é uma coleção de técnicas estatísticas para construir modelos que</p><p>descrevem de maneira razoável relações entre várias variáveis explicativas de um de-</p><p>terminado processo. A diferença entre a regressão linear simples e a múltipla é que na</p><p>múltipla são tratadas duas ou mais variáveis explicativas.</p><p>Apresentamos a teoria para analisar e validar Modelos de Regressão Linear Múlti-</p><p>pla (MRLM), focando nos seguinte tópicos:</p><p>• Modelo estatístico;</p><p>• Estimação dos parâmetros;</p><p>• Propriedades dos estimadores;</p><p>• Testes de hipóteses e intervalos de confiança para os parâmetros do modelo;</p><p>• Análise de diagnóstico do modelo;</p><p>• Aplicações.</p><p>2 Exemplo 1</p><p>O ganho de um transistor consiste na diferença entre o emissor e o coletor. A variá-</p><p>vel Ganho (em hFE) pode ser controlada no processo de deposição de íons por meio</p><p>das variáveis Tempo de emissão (em minutos) e Dose de íons (×1014). Os dados</p><p>encontram-se na Tabela 2.1.</p><p>Observação Tempo(min) Ganho (hFe) Dose de íons(×1014)</p><p>1 195 1004 4</p><p>2 255 1636 4</p><p>3 195 852 4,6</p><p>4 255 1506 4,6</p><p>5 225 1272 4,2</p><p>6 225 1270 4,1</p><p>7 225 1269 4,6</p><p>8 195 903 4,3</p><p>9 255 1555 4,3</p><p>10 225 1260 4</p><p>11 225 1146 4,7</p><p>12 225 1276 4,3</p><p>13 225 1225 4,72</p><p>14 230 1321 4,3</p><p>Tabela 2.1: Dados do ganho em um conjunto de pistões à diferentes níveis de</p><p>emissão e coleta.</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.1 Modelo Estatístico Estatística - Análise de Regressão Linear Multipla</p><p>2.1 Modelo Estatístico</p><p>É razoável supor um modelo para relacionar a variável ganho (em íons) com as variá-</p><p>veis explicativas emissor de tempo e emissor da dose. Assim, definimos o modelo de</p><p>regressão linear múltipla dado por</p><p>Y = β0 +β1x1 +β2x2 + ε, (2.1)</p><p>em que Y representa a variável resposta (o ganho em íons), x1 e x2 representam</p><p>as variáveis explicativas (o emissor de tempo e o emissor de dose, respectivamente)</p><p>e ε representa o erro experimental. Esse é um modelo de regressão linear múltipla</p><p>com duas variáveis independentes ou explicativas (x1 e x2). O termo linear é usado</p><p>pois a equação (2.1) é uma função linear de parâmetros desconhecidos β0,β1 e β2,</p><p>denominados coeficientes da regressão.</p><p>2.2 Interpretação dos parâmetros do modelo</p><p>O parâmetro β0 corresponde ao intercepto do plano com o eixo z. Se x =</p><p>(x1,x2) = (0,0) o parâmetro β0 fornece a resposta média nesse ponto. Caso</p><p>contrário, não é possível interpretar o parâmetro β0;</p><p>O parâmetro β1 indica uma mudança na resposta média a cada unidade de mu-</p><p>dança em x1, quando as demais variáveis são mantidas fixas;</p><p>O parâmetro β2, que indica uma mudança na resposta média a cada unidade de</p><p>mudança em x2, quando x1 é mantido constante.;</p><p>Supondo E(ε) = 0, temos E(Y |x) = β0 + β1x1 + β2x2, que descreve um plano</p><p>bidimensional, denominado superfície de resposta.</p><p>De maneira geral, a variável resposta Y pode ser relacionada a um número p de</p><p>variáveis de entrada. O modelo de regressão linear múltipla (MRLM) com p variáveis</p><p>explicativas é dado por</p><p>Yi = β0 +β1xi1 +β2xi2 + ...+βpxip + εi, i = 1, ...,n, (2.2)</p><p>em que</p><p>• xi1,xi2, ...,xip - são valores das variáveis explicativas, constantes conhecidas;</p><p>• β0,β1,β2, ...,βp - são parâmetros ou coeficientes da regressão;</p><p>• εi - são erros aleatórios independentes.</p><p>Este modelo descreve um hiperplano p-dimensional referente às variáveis explicativas.</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.3 Efeito das interações Estatística - Análise de Regressão Linear Multipla</p><p>2.3 Efeito das interações</p><p>Modelos mais complexos do que o "Modelo 2.2"também são analisados usando técni-</p><p>cas de regressão linear múltipla. Consideremos o modelo de regressão linear múltipla</p><p>com duas variáveis regressoras, x1 e x2, dado por</p><p>Y = β0 +β1x1 +β2x2 +β3 x1 x2︸︷︷︸</p><p>interação</p><p>+ε.</p><p>Neste caso, x1x2 representa a interação existente entre as variáveis x1 e x2. Se a intera-</p><p>ção está presente e é significativa, o efeito de x1 na resposta média depende do nível de</p><p>x2 e analogamente o efeito de x2 na resposta média depende do nível de x1.</p><p>Sabendo que E(ε) = 0, tem-se que</p><p>E(Y |x) = β0 +β1x1 +β2x2 +β3x1x2.</p><p>A interpretação para os parâmetros β1 e β2, no modelo com interação, não é o mesmo</p><p>visto anteriormente.</p><p>2.4 Suposições para o modelo</p><p>As suposições necessárias para o Modelo de Regressão Linear Múltipla são:</p><p>i. O erro tem média zero e variância σ2, desconhecida;</p><p>ii. Os erros são não correlacionados;</p><p>iii. Os erros têm distribuição normal;</p><p>iv. As variáveis regressoras x1,x2, . . . ,xp assumem valores fixos.</p><p>As suposições (i)-(iii), simbolicamente, podem ser representadas por</p><p>εi</p><p>iid∼ N(0,σ2).</p><p>Se as suposições do MRLM se verificam, então a variável Y tem distribuição nor-</p><p>mal com variância σ2 e média</p><p>E(Y | x) = β0 +β1x1 +β2x2 + . . .+βpxp.</p><p>Neste caso, os parâmetros β j, j = 1, . . . , p representam a variação (média) esperada</p><p>na variável resposta (Y ) quando a variável x j sofre um acréscimo unitário, enquanto</p><p>todas as outras variáveis xi(i 6= j) são mantidas constantes. Por esse motivo os β j são</p><p>chamados de coeficientes parciais.</p><p>Se os valores de x j incluem os valores x j = 0, j = 1, . . . , p então β0 é a média de Y</p><p>quando x j = 0. Em caso contrário não existe interpretação prática.</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.5 Estimação dos Parâmetros do ModeloEstatística - Análise de Regressão Linear Multipla</p><p>2.5 Estimação dos Parâmetros do Modelo</p><p>Suponha que temos n observações (n > p) da variável resposta e das p variáveis expli-</p><p>cativas. Assim, yi é o valor da variável resposta na i-ésima observação enquanto que</p><p>xi j é o valor da variável x j na i-ésima observação, j = 1, . . . , p. Os dados de um MRLM</p><p>podem ser representados da seguinte forma:</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.6 Método dos Mínimos QuadradosEstatística - Análise de Regressão Linear Multipla</p><p>y x1 x2 . . . xp</p><p>y1 x11 x12 . . . x1p</p><p>y2 x21 x22 . . . x2p</p><p>...</p><p>...</p><p>...</p><p>...</p><p>...</p><p>yn xn1 xn2 . . . xnp</p><p>Tabela 2.2.1: Representação dos dados.</p><p>em que cada observação satisfaz</p><p>Yi = β0 +β1xi1 +β2xi2 + . . .+βpxip + εi, i = 1, . . . ,n.</p><p>2.6 Método dos Mínimos Quadrados</p><p>O objetivo é minimizar a função</p><p>L =</p><p>n</p><p>∑</p><p>i=1</p><p>ε</p><p>2</p><p>i =</p><p>n</p><p>∑</p><p>i=1</p><p>(Yi−β0−β1xi1−β2xi2− . . .−βpxip)</p><p>2 .</p><p>Derivando L em função dos β ’s obtemos</p><p>∂L∂β0 =−2</p><p>n</p><p>∑</p><p>i=1</p><p>[Yi−β0−β1xi1−β2xi2− . . .−βpxip],</p><p>∂L∂β j =−2</p><p>n</p><p>∑</p><p>i=1</p><p>[Yi−β0−β1xi1−β2xi2− . . .−βpxip]x ji, j = 1,2, . . . , p.</p><p>Igualando as derivadas parciais a zero e substituindo β0,β1, . . . ,βp por β̂0, β̂1, . . . , β̂p,</p><p>temos o sistema de equações</p><p>nβ̂0 + β̂1</p><p>n</p><p>∑</p><p>i=1</p><p>xi1 + β̂2</p><p>n</p><p>∑</p><p>i=1</p><p>xi2 + . . .+ β̂p</p><p>n</p><p>∑</p><p>i=1</p><p>xip =</p><p>n</p><p>∑</p><p>i=1</p><p>Yi</p><p>β̂0</p><p>n</p><p>∑</p><p>i=1</p><p>xi1 + β̂1</p><p>n</p><p>∑</p><p>i=1</p><p>x2</p><p>i1 + β̂2</p><p>n</p><p>∑</p><p>i=1</p><p>xi1xi2 + . . .+ β̂p</p><p>n</p><p>∑</p><p>i=1</p><p>xi1xip =</p><p>n</p><p>∑</p><p>i=1</p><p>xi1Yi</p><p>...</p><p>...</p><p>β̂0</p><p>n</p><p>∑</p><p>i=1</p><p>xip + β̂1</p><p>n</p><p>∑</p><p>i=1</p><p>xipxi1 + β̂2</p><p>n</p><p>∑</p><p>i=1</p><p>xipxi2 + . . .+ β̂p</p><p>n</p><p>∑</p><p>i=1</p><p>2</p><p>ip =</p><p>n</p><p>∑</p><p>i=1</p><p>xipYi.</p><p>Resolvendo este sistema, obtemos os estimadores de mínimos quadrados β̂0, . . . , β̂p</p><p>dos parâmetros do modelo em questão.</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.7 Representação matricial do MRLMEstatística - Análise de Regressão Linear Multipla</p><p>2.7 Representação matricial do MRLM</p><p>Notemos que os estimadores de mínimos quadrados dos parâmetros do "Modelo 2.2"po-</p><p>dem ser facilmente encontrados considerando a notação matricial dos dados, que é de</p><p>fácil manipulação. Desta forma, considerando a entrada de dados apresentada na Ta-</p><p>bela 2.2.1, o modelo de Regressão Linear Múltipla pode ser escrito como</p><p>Y = Xβ + ε,</p><p>com</p><p>Y =</p><p></p><p>Y1</p><p>Y2</p><p>...</p><p>Yn</p><p> , X =</p><p></p><p>1 x11 x12 . . . x1p</p><p>1 x21 x22 . . . x2p</p><p>...</p><p>...</p><p>...</p><p>. . .</p><p>...</p><p>1 xn1 xn2 . . . xnp</p><p> , β =</p><p></p><p>β0</p><p>β1</p><p>...</p><p>βp</p><p> e ε =</p><p></p><p>ε1</p><p>ε2</p><p>...</p><p>εn</p><p> ,</p><p>em que</p><p>Y é um vetor n×1 cujos componentes corresponde às n respostas; X é uma matriz</p><p>de dimensão n× (p+ 1) denominada matriz do modelo; ε é um vetor de dimensão</p><p>n× 1 cujos componentes são os erros e β é um vetor (p + 1)× 1 cujos elementos</p><p>são os coeficientes de regressão. O método de mínimos quadrados tem como objetivo</p><p>encontrar o vetor β̂ que minimiza</p><p>L =</p><p>n</p><p>∑</p><p>i=1</p><p>ε</p><p>2</p><p>i = ε</p><p>′</p><p>ε = (Y −Xβ )′(Y −Xβ ) =</p><p>= Y ′Y −Y ′Xβ −β</p><p>′X ′Y +β</p><p>′X ′Xβ = Y ′Y −2β</p><p>′X ′Y +β</p><p>′X ′Xβ ,</p><p>sendo que Y ′Xβ = β ′X ′Y pois o produto resulta em um escalar. A notação X ′ repre-</p><p>senta o transposto da matriz X enquanto que Y ′ e β ′ representam os transpostos dos</p><p>vetores Y e β , respectivamente. Usando a técnica de derivação (em termos matriciais)</p><p>obtemos</p><p>∂L∂β =−2X ′Y +2X ′Xβ .</p><p>Igualando a zero e substituindo o vetor β pelo vetor β̂ , temos</p><p>(X ′X)β̂ = X ′Y.</p><p>Em geral, a matriz (X ′X) é não singular, ou seja, tem determinante diferente de zero,</p><p>e portanto é invertível. Desta forma, conclui-se que os estimadores para os parâmetros</p><p>β j, j = 0, . . . , p são dados pelo vetor</p><p>β̂ = (X ′X)−1X ′Y.</p><p>Portanto, o modelo de regressão linear ajustado e o vetor de resíduos são respecti-</p><p>vamente</p><p>Ŷ = X β̂ e e = Y − Ŷ .</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p><p>2.8 Coeficiente de Determinação AjustadoEstatística - Análise de Regressão Linear Multipla</p><p>2.8 Coeficiente de Determinação Ajustado</p><p>A inclusão de inúmeras variáveis, mesmo que tenham muito pouco poder explicativo</p><p>sobre a variável dependente, aumentarão o valor de R2. Isto incentiva a inclusão in-</p><p>discriminada de variáveis, prejudicando o princípio da parcimônia. Para combater esta</p><p>tendência, podemos usar uma medida alternativa do coeficiente de determinação, que</p><p>penaliza a inclusão de regressores pouco explicativos. Trata-se do R2</p><p>a justado:</p><p>R2</p><p>a justado = 1− n−1</p><p>n− (k+1)</p><p>(</p><p>1−R2</p><p>)</p><p>onde (k+1) representa o número de variáveis explicativas mais a constante.</p><p>Note que a inclusão de mais variáveis com pouco poder explicativo prejudica o</p><p>valor do R2</p><p>a justado, porque aumenta k uma unidade, sem aumentar substancialmente o</p><p>valor de R2.</p><p>Professor José Alberto jose.alberto1965@terra.com.br (11)9.7525-3343</p>