O método dos mínimos quadrados é baseado na condição. Onde o método dos mínimos quadrados é usado?

O método dos mínimos quadrados é um dos mais comuns e mais desenvolvidos devido à sua simplicidade e eficiência de métodos para estimar parâmetros de linear. Ao mesmo tempo, ao utilizá-lo, alguns cuidados devem ser observados, pois os modelos construídos com ele podem não satisfazer uma série de requisitos de qualidade de seus parâmetros e, como resultado, não refletir “bem” os padrões de desenvolvimento do processo. suficiente.

Consideremos com mais detalhes o procedimento para estimar os parâmetros de um modelo econométrico linear usando o método dos mínimos quadrados. Tal modelo em geral pode ser representado pela equação (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t.

Os dados iniciais ao estimar os parâmetros a 0 , a 1 ,..., a n são um vetor de valores da variável dependente sim= (y 1 , y 2 , ... , y T)" e a matriz de valores das variáveis ​​independentes

em que a primeira coluna, composta por uns, corresponde ao coeficiente do modelo.

O método dos mínimos quadrados recebeu esse nome com base no princípio básico de que as estimativas dos parâmetros obtidas em sua base devem satisfazer: a soma dos quadrados do erro do modelo deve ser mínima.

Exemplos de resolução de problemas usando o método dos mínimos quadrados

Exemplo 2.1. A empresa comercial possui uma rede de 12 lojas, cujas informações sobre as atividades são apresentadas na tabela. 2.1.

A direção do empreendimento gostaria de saber como o valor anual depende da área de varejo da loja.

Tabela 2.1

Solução de mínimos quadrados. Denotemos o faturamento anual da loja, milhões de rublos; — área comercial da décima loja, mil m2.

Figura 2.1. Gráfico de dispersão para Exemplo 2.1

Para determinar a forma da relação funcional entre as variáveis, construiremos um diagrama de dispersão (Fig. 2.1).

Com base no diagrama de dispersão, podemos concluir que o volume de negócios anual depende positivamente do espaço comercial (ou seja, y aumentará com o aumento de ). A forma mais adequada de conexão funcional é linear.

Informações para cálculos adicionais são apresentadas na tabela. 2.2. Usando o método dos mínimos quadrados, estimamos os parâmetros de um modelo econométrico linear de um fator

Tabela 2.2

Por isso,

Portanto, com um aumento no espaço comercial em 1 mil m2, em igualdade de circunstâncias, o volume de negócios médio anual aumenta em 67,8871 milhões de rublos.

Exemplo 2.2. A direção da empresa percebeu que o faturamento anual depende não só da área de vendas da loja (ver exemplo 2.1), mas também do número médio de visitantes. As informações relevantes são apresentadas na tabela. 2.3.

Tabela 2.3

Solução. Denotemos o número médio de visitantes da décima loja por dia, mil pessoas.

Para determinar a forma da relação funcional entre as variáveis, construiremos um diagrama de dispersão (Fig. 2.2).

Com base no gráfico de dispersão, podemos concluir que o volume de negócios anual depende positivamente do número médio de visitantes por dia (ou seja, y aumentará com o aumento). A forma de dependência funcional é linear.

Arroz. 2.2. Gráfico de dispersão para Exemplo 2.2

Tabela 2.4

Em geral, é necessário determinar os parâmetros de um modelo econométrico de dois fatores

y t = a 0 + a 1 x 1 t + a 2 x 2 t + ε t

As informações necessárias para cálculos posteriores são apresentadas na tabela. 2.4.

Vamos estimar os parâmetros de um modelo econométrico linear de dois fatores usando o método dos mínimos quadrados.

Por isso,

A estimativa do coeficiente =61,6583 mostra que, em igualdade de circunstâncias, com um aumento do espaço comercial em 1 mil m 2, o volume de negócios anual aumentará em média 61,6583 milhões de rublos.

Vamos aproximar a função por um polinômio de grau 2. Para fazer isso, calculamos os coeficientes do sistema normal de equações:

, ,

Vamos criar um sistema normal de mínimos quadrados, que tem a forma:

A solução para o sistema é fácil de encontrar:, , .

Assim, encontra-se um polinômio de 2º grau: .

Informação teórica

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 2. Encontrando o grau ideal de um polinômio.

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 3. Derivação de um sistema normal de equações para encontrar os parâmetros da dependência empírica.

Vamos derivar um sistema de equações para determinar os coeficientes e funções , que realiza a aproximação da raiz quadrada média de uma determinada função por pontos. Vamos compor uma função e escreva a condição extrema necessária para isso:

Então o sistema normal assumirá a forma:

Obtivemos um sistema linear de equações para parâmetros desconhecidos e que é facilmente resolvido.

Informação teórica

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo.

Dados experimentais sobre os valores das variáveis X E no são dados na tabela.

Como resultado de seu alinhamento, a função é obtida

Usando método dos mínimos quadrados, aproxime esses dados por uma dependência linear y = machado + b(encontrar parâmetros A E b). Descubra qual das duas linhas melhor (no sentido do método dos mínimos quadrados) alinha os dados experimentais. Faça um desenho.

A essência do método dos mínimos quadrados (LSM).

A tarefa é encontrar os coeficientes de dependência linear nos quais a função de duas variáveis A E bassume o menor valor. Isto é, dado A E b a soma dos desvios quadrados dos dados experimentais da linha reta encontrada será a menor. Este é o objetivo do método dos mínimos quadrados.

Assim, resolver o exemplo se resume a encontrar o extremo de uma função de duas variáveis.

Derivação de fórmulas para encontrar coeficientes.

Um sistema de duas equações com duas incógnitas é compilado e resolvido. Encontrando as derivadas parciais de uma função por variáveis A E b, igualamos essas derivadas a zero.

Resolvemos o sistema de equações resultante usando qualquer método (por exemplo por método de substituição ou método de Cramer) e obter fórmulas para encontrar coeficientes usando o método dos mínimos quadrados (LSM).

Dado A E b função assume o menor valor. A prova deste fato é dada abaixo no texto no final da página.

Esse é todo o método dos mínimos quadrados. Fórmula para encontrar o parâmetro a contém as somas,,, e parâmetro n— quantidade de dados experimentais. Recomendamos calcular os valores desses valores separadamente.

Coeficiente b encontrado após cálculo a.

É hora de lembrar o exemplo original.

Solução.

Em nosso exemplo n=5. Preenchemos a tabela para facilitar o cálculo dos valores que constam nas fórmulas dos coeficientes exigidos.

Os valores da quarta linha da tabela são obtidos multiplicando os valores da 2ª linha pelos valores da 3ª linha de cada número eu.

Os valores da quinta linha da tabela são obtidos elevando ao quadrado os valores da 2ª linha para cada número eu.

Os valores na última coluna da tabela são as somas dos valores nas linhas.

Usamos as fórmulas do método dos mínimos quadrados para encontrar os coeficientes A E b. Substituímos neles os valores correspondentes da última coluna da tabela:

Por isso, y = 0,165x+2,184— a linha reta aproximada desejada.

Resta descobrir qual das linhas y = 0,165x+2,184 ou aproxima melhor os dados originais, ou seja, faz uma estimativa pelo método dos mínimos quadrados.

Estimativa de erro do método dos mínimos quadrados.

Para fazer isso, você precisa calcular a soma dos desvios quadrados dos dados originais dessas linhas E , um valor menor corresponde a uma linha que melhor se aproxima dos dados originais no sentido do método dos mínimos quadrados.

Desde , então direto y = 0,165x+2,184 aproxima melhor os dados originais.

Ilustração gráfica do método dos mínimos quadrados (LS).

Tudo é claramente visível nos gráficos. A linha vermelha é a linha reta encontrada y = 0,165x+2,184, a linha azul é , os pontos rosa são os dados originais.

Por que isso é necessário, por que todas essas aproximações?

Eu pessoalmente o uso para resolver problemas de suavização de dados, interpolação e extrapolação (no exemplo original, eles podem ser solicitados a encontrar o valor de um valor observado sim no x=3 ou quando x=6 usando o método dos mínimos quadrados). Mas falaremos mais sobre isso posteriormente em outra seção do site.

Topo da página

Prova.

Para que quando encontrado A E b função assume o menor valor, é necessário que neste ponto a matriz da forma quadrática do diferencial de segunda ordem para a função foi positivo definitivo. Vamos mostrar.

O diferencial de segunda ordem tem a forma:

Aquilo é

Portanto, a matriz de forma quadrática tem a forma

e os valores dos elementos não dependem de A E b.

Vamos mostrar que a matriz é definida positiva. Para fazer isso, os menores angulares devem ser positivos.

Angular menor de primeira ordem . A desigualdade é estrita porque os pontos não coincidem. A seguir, implicaremos isso.

Angular menor de segunda ordem

Vamos provar isso pelo método de indução matemática.

Conclusão: valores encontrados A E b correspondem ao menor valor da função , portanto, são os parâmetros necessários para o método dos mínimos quadrados.

Não há tempo para descobrir?
Solicite uma solução

Topo da página

Desenvolver uma previsão usando o método dos mínimos quadrados. Exemplo de solução de problema

Extrapolação é um método de pesquisa científica que se baseia na divulgação de tendências, padrões e conexões passadas e presentes com o desenvolvimento futuro do objeto de previsão. Os métodos de extrapolação incluem método da média móvel, método de suavização exponencial, método dos mínimos quadrados.

Essência método dos mínimos quadrados consiste em minimizar a soma dos desvios quadrados entre os valores observados e calculados. Os valores calculados são encontrados usando a equação selecionada - a equação de regressão. Quanto menor a distância entre os valores reais e os calculados, mais precisa será a previsão baseada na equação de regressão.

Uma análise teórica da essência do fenômeno em estudo, cuja mudança se reflete em uma série temporal, serve de base para a escolha de uma curva. Às vezes são levadas em conta considerações sobre a natureza do aumento dos níveis da série. Assim, se o crescimento do produto for esperado numa progressão aritmética, então a suavização é realizada em linha recta. Se acontecer que o crescimento está em progressão geométrica, então a suavização deve ser feita usando uma função exponencial.

Fórmula de trabalho para o método dos mínimos quadrados : Yt+1 = a*X + b, onde t + 1 – período de previsão; Уt+1 – indicador previsto; aeb são coeficientes; X é um símbolo do tempo.

O cálculo dos coeficientes a e b é realizado usando as seguintes fórmulas:

onde, Uf – valores reais da série dinâmica; n – número de níveis da série temporal;

A suavização de séries temporais pelo método dos mínimos quadrados serve para refletir o padrão de desenvolvimento do fenômeno em estudo. Na expressão analítica de uma tendência, o tempo é considerado uma variável independente, e os níveis da série atuam em função dessa variável independente.

O desenvolvimento de um fenômeno não depende de quantos anos se passaram desde o início, mas de quais fatores influenciaram seu desenvolvimento, em que direção e com que intensidade. A partir daqui fica claro que o desenvolvimento de um fenômeno ao longo do tempo é resultado da ação desses fatores.

Estabelecer corretamente o tipo de curva, o tipo de dependência analítica do tempo é uma das tarefas mais difíceis da análise preditiva .

A seleção do tipo de função que descreve a tendência, cujos parâmetros são determinados pelo método dos mínimos quadrados, é realizada na maioria dos casos de forma empírica, construindo uma série de funções e comparando-as entre si de acordo com o valor do erro quadrático médio, calculado pela fórmula:

onde UV são os valores reais da série dinâmica; Ur – valores calculados (suavizados) da série dinâmica; n – número de níveis da série temporal; p – o número de parâmetros definidos nas fórmulas que descrevem a tendência (tendência de desenvolvimento).

Desvantagens do método dos mínimos quadrados :

• ao tentar descrever o fenómeno económico em estudo através de uma equação matemática, a previsão será precisa durante um curto período de tempo e a equação de regressão deverá ser recalculada à medida que novas informações estiverem disponíveis;
• a complexidade de selecionar uma equação de regressão que possa ser resolvida usando programas de computador padrão.

Um exemplo de uso do método dos mínimos quadrados para desenvolver uma previsão

Tarefa . Existem dados que caracterizam a taxa de desemprego na região, %

• Construa uma previsão da taxa de desemprego na região para novembro, dezembro, janeiro usando os seguintes métodos: média móvel, suavização exponencial, mínimos quadrados.
• Calcule os erros nas previsões resultantes usando cada método.
• Compare os resultados e tire conclusões.

Solução de mínimos quadrados

Para resolver isso, elaboraremos uma tabela na qual faremos os cálculos necessários:

ε = 28,63/10 = 2,86% precisão da previsão alto.

Conclusão : Comparando os resultados obtidos nos cálculos método de média móvel , método de suavização exponencial e o método dos mínimos quadrados, podemos dizer que o erro relativo médio ao calcular usando o método de suavização exponencial está na faixa de 20-50%. Isto significa que a precisão da previsão neste caso é apenas satisfatória.

No primeiro e terceiro casos, a precisão da previsão é elevada, uma vez que o erro relativo médio é inferior a 10%. Mas o método da média móvel permitiu obter resultados mais confiáveis ​​​​(previsão para novembro - 1,52%, previsão para dezembro - 1,53%, previsão para janeiro - 1,49%), uma vez que o erro relativo médio ao utilizar este método é o menor - 1 ,13%.

Método dos mínimos quadrados

Outros artigos sobre este tema:

Lista de fontes usadas

1. Recomendações científicas e metodológicas sobre o diagnóstico de riscos sociais e a previsão de desafios, ameaças e consequências sociais. Universidade Social Estatal Russa. Moscou. 2010;
2. Vladimirova L.P. Previsão e planejamento em condições de mercado: livro didático. mesada. M.: Editora "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Previsão da economia nacional: Manual educativo e metodológico. Ecaterimburgo: Editora Ural. estado economia. Univ., 2007;
4. Slutskin L.N. Curso de MBA em previsão de negócios. M.: Alpina Business Books, 2006.

Programa multinacional

Inserir dados

Dados e aproximação y = a + bx

eu- número de ponto experimental;
XI- valor de um parâmetro fixo em um ponto eu;
sim, eu- valor do parâmetro medido em um ponto eu;
ω eu- medir peso em um ponto eu;
sim, calc.- diferença entre o valor medido e o valor calculado de regressão sim no ponto eu;
S x eu (x eu)- estimativa de erro XI ao medir sim no ponto eu.

Dados e aproximação y = k x

Clique no gráfico

Manual do usuário do programa MNC online.

No campo de dados, insira em cada linha separada os valores de `x` e `y` em um ponto experimental. Os valores devem ser separados por um caractere de espaço em branco (espaço ou tabulação).

O terceiro valor pode ser o peso do ponto `w`. Se o peso de um ponto não for especificado, ele será igual a um. Na grande maioria dos casos, os pesos dos pontos experimentais são desconhecidos ou não calculados, ou seja, todos os dados experimentais são considerados equivalentes. Às vezes, os pesos na faixa de valores estudada não são absolutamente equivalentes e podem até ser calculados teoricamente. Por exemplo, na espectrofotometria, os pesos podem ser calculados utilizando fórmulas simples, embora isto seja na maior parte negligenciado para reduzir os custos de mão-de-obra.

Os dados podem ser colados na área de transferência a partir de uma planilha em um pacote de escritório, como Excel do Microsoft Office ou Calc do Open Office. Para fazer isso, na planilha, selecione o intervalo de dados a ser copiado, copie para a área de transferência e cole os dados no campo de dados desta página.

Para calcular pelo método dos mínimos quadrados, são necessários pelo menos dois pontos para determinar dois coeficientes `b` - a tangente do ângulo de inclinação da reta e `a` - o valor interceptado pela reta no eixo `y`.

Para estimar o erro dos coeficientes de regressão calculados, é necessário definir o número de pontos experimentais para mais de dois.

Método dos mínimos quadrados (LSM).

Quanto maior o número de pontos experimentais, mais precisa será a avaliação estatística dos coeficientes (devido à diminuição do coeficiente de Student) e mais próxima a estimativa da estimativa da amostra geral.

A obtenção de valores em cada ponto experimental está frequentemente associada a custos de mão-de-obra significativos, de modo que muitas vezes é realizado um número de experimentos de compromisso que fornece uma estimativa gerenciável e não leva a custos de mão-de-obra excessivos. Como regra, o número de pontos experimentais para uma dependência linear de mínimos quadrados com dois coeficientes é selecionado na região de 5 a 7 pontos.

Uma Breve Teoria dos Mínimos Quadrados para Relações Lineares

Digamos que temos um conjunto de dados experimentais na forma de pares de valores [`y_i`, `x_i`], onde `i` é o número de uma medição experimental de 1 a `n`; `y_i` - o valor da grandeza medida no ponto `i`; `x_i` - o valor do parâmetro que definimos no ponto `i`.

Como exemplo, considere a operação da lei de Ohm. Ao alterar a tensão (diferença de potencial) entre seções de um circuito elétrico, medimos a quantidade de corrente que passa por esta seção. A física nos dá uma dependência encontrada experimentalmente:

`I = U/R`,
onde `I` é a força atual; `R` - resistência; `U` - tensão.

Neste caso, `y_i` é o valor da corrente que está sendo medida e `x_i` é o valor da tensão.

Como outro exemplo, consideremos a absorção de luz por uma solução de uma substância em solução. A química nos dá a fórmula:

`A = ε l C`,
onde `A` é a densidade óptica da solução; `ε` - transmitância do soluto; `l` - comprimento do caminho quando a luz passa por uma cubeta com uma solução; `C` é a concentração da substância dissolvida.

Neste caso, `y_i` é o valor medido da densidade óptica `A`, e `x_i` é o valor da concentração da substância que especificamos.

Consideraremos o caso em que o erro relativo na atribuição `x_i` é significativamente menor que o erro relativo na medição `y_i`. Também assumiremos que todos os valores medidos `y_i` são aleatórios e normalmente distribuídos, ou seja, obedecer à lei de distribuição normal.

No caso de uma dependência linear de `y` em `x`, podemos escrever a dependência teórica:
`y = a + bx`.

Do ponto de vista geométrico, o coeficiente `b` denota a tangente do ângulo de inclinação da linha ao eixo `x`, e o coeficiente `a` - o valor de `y` no ponto de intersecção do linha com o eixo `y` (em `x = 0`).

Encontrando os parâmetros da linha de regressão.

Em um experimento, os valores medidos de `y_i` não podem estar exatamente na linha reta teórica devido a erros de medição, que são sempre inerentes à vida real. Portanto, uma equação linear deve ser representada por um sistema de equações:
`y_i = a + b x_i + ε_i` (1),
onde `ε_i` é o erro de medição desconhecido de `y` no `i`-ésimo experimento.

A dependência (1) também é chamada regressão, ou seja a dependência de duas quantidades entre si com significância estatística.

A tarefa de restaurar a dependência é encontrar os coeficientes `a` e `b` dos pontos experimentais [`y_i`, `x_i`].

Para encontrar os coeficientes `a` e `b` geralmente é usado método dos mínimos quadrados(MNC). É um caso especial do princípio da máxima verossimilhança.

Vamos reescrever (1) na forma `ε_i = y_i - a - b x_i`.

Então a soma dos erros quadráticos será
`Φ = soma_(i=1)^(n) ε_i^2 = soma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

O princípio dos mínimos quadrados (mínimos quadrados) é minimizar a soma (2) em relação aos parâmetros `a` e `b`.

O mínimo é alcançado quando as derivadas parciais da soma (2) em relação aos coeficientes `a` e `b` são iguais a zero:
`frac (parcial Φ) (parcial a) = frac (soma parcial_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (parcial a) = 0`
`frac (parcial Φ) (parcial b) = frac (soma parcial_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (parcial b) = 0`

Expandindo as derivadas, obtemos um sistema de duas equações com duas incógnitas:
`soma_(i=1)^(n) (2a + 2bx_i — 2y_i) = soma_(i=1)^(n) (a + bx_i — y_i) = 0`
`soma_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = soma_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Abrimos os colchetes e transferimos as somas independentes dos coeficientes exigidos para a outra metade, obtemos um sistema de equações lineares:
`soma_(i=1)^(n) y_i = a n + b soma_(i=1)^(n) bx_i`
`soma_(i=1)^(n) x_iy_i = a soma_(i=1)^(n) x_i + b soma_(i=1)^(n) x_i^2`

Resolvendo o sistema resultante, encontramos fórmulas para os coeficientes `a` e `b`:

`a = frac(soma_(i=1)^(n) y_i soma_(i=1)^(n) x_i^2 - soma_(i=1)^(n) x_i soma_(i=1)^(n ) x_iy_i) (n soma_(i=1)^(n) x_i^2 — (soma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac (n soma_(i=1)^(n) x_iy_i — soma_(i=1)^(n) x_i soma_(i=1)^(n) y_i) (n soma_(i=1)^ (n) x_i^2 — (soma_(i=1)^(n) x_i)^2)` (3.2)

Essas fórmulas têm soluções quando `n > 1` (a linha pode ser construída usando pelo menos 2 pontos) e quando o determinante `D = n soma_(i=1)^(n) x_i^2 - (soma_(i= 1 )^(n) x_i)^2 != 0`, ou seja, quando os pontos `x_i` no experimento são diferentes (ou seja, quando a linha não é vertical).

Estimativa de erros de coeficientes de linha de regressão

Para uma avaliação mais precisa do erro no cálculo dos coeficientes `a` e `b`, é desejável um grande número de pontos experimentais. Quando `n = 2`, é impossível estimar o erro dos coeficientes, pois a linha de aproximação passará exclusivamente por dois pontos.

O erro da variável aleatória `V` é determinado lei da acumulação de erros
`S_V^2 = soma_(i=1)^p (frac(parcial f)(parcial z_i))^2 S_(z_i)^2`,
onde `p` é o número de parâmetros `z_i` com erro `S_(z_i)`, que afetam o erro `S_V`;
`f` é uma função da dependência de `V` em `z_i`.

Vamos escrever a lei da acumulação de erros para o erro dos coeficientes `a` e `b`
`S_a^2 = soma_(i=1)^(n)(frac(parcial a)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial a )(parcial x_i))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(parcial a)(parcial y_i))^2 `,
`S_b^2 = soma_(i=1)^(n)(frac(parcial b)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial b )(parcial x_i))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(parcial b)(parcial y_i))^2 `,
porque `S_(x_i)^2 = 0` (anteriormente fizemos uma reserva de que o erro `x` é insignificante).

`S_y^2 = S_(y_i)^2` - erro (variância, desvio padrão quadrático) na medição de `y`, assumindo que o erro é uniforme para todos os valores de `y`.

Substituindo fórmulas para calcular `a` e `b` nas expressões resultantes, obtemos

`S_a^2 = S_y^2 frac(soma_(i=1)^(n) (soma_(i=1)^(n) x_i^2 — x_i soma_(i=1)^(n) x_i)^2 ) (D ^ 2) = S_y ^ 2 frac ((n soma_ (i = 1) ^ (n) x_i ^ 2 - (soma_ (i = 1) ^ (n) x_i) ^ 2) soma_ (i = 1) ^ (n) x_i ^ 2) (D ^ 2) = S_y ^ 2 frac (soma_ (i = 1) ^ (n) x_i ^ 2) (D)` (4.1)

`S_b ^ 2 = S_y ^ 2 frac (soma_ (i = 1) ^ (n) (n x_i - soma_ (i = 1) ^ (n) x_i) ^ 2) (D ^ 2) = S_y ^ 2 frac ( n (n soma_(i=1)^(n) x_i^2 — (soma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) `(4.2)

Na maioria dos experimentos reais, o valor de `Sy` não é medido. Para isso, é necessário realizar diversas medições (experimentos) paralelas em um ou vários pontos do plano, o que aumenta o tempo (e possivelmente o custo) do experimento. Portanto, geralmente assume-se que o desvio de `y` da linha de regressão pode ser considerado aleatório. A estimativa da variância `y` neste caso é calculada usando a fórmula.

`S_y^2 = S_(y, resto)^2 = frac(soma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

O divisor `n-2` aparece porque nosso número de graus de liberdade diminuiu devido ao cálculo de dois coeficientes usando a mesma amostra de dados experimentais.

Essa estimativa também é chamada de variância residual relativa à linha de regressão `S_(y, rest)^2`.

A significância dos coeficientes é avaliada pelo teste t de Student

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Se os critérios calculados `t_a`, `t_b` forem menores que os critérios tabulados `t(P, n-2)`, então considera-se que o coeficiente correspondente não é significativamente diferente de zero com uma determinada probabilidade `P`.

Para avaliar a qualidade da descrição de uma relação linear, você pode comparar `S_(y, rest)^2` e `S_(bar y)` em relação à média usando o critério de Fisher.

`S_(barra y) = frac(soma_(i=1)^n (y_i — barra y)^2) (n-1) = frac(soma_(i=1)^n (y_i — (soma_(i= 1)^n y_i) /n)^2) (n-1)` - estimativa amostral da variância `y` em relação à média.

Para avaliar a eficácia da equação de regressão para descrever a dependência, o coeficiente de Fisher é calculado
`F = S_(barra y) / S_(y, resto)^2`,
que é comparado com o coeficiente tabular de Fisher `F (p, n-1, n-2)`.

Se `F > F(P, n-1, n-2)`, a diferença entre a descrição da relação `y = f(x)` usando a equação de regressão e a descrição usando a média é considerada estatisticamente significativa com probabilidade `P`. Aqueles. a regressão descreve a dependência melhor do que a dispersão de `y` em torno da média.

Clique no gráfico
para adicionar valores à tabela

Método dos mínimos quadrados. O método dos mínimos quadrados significa a determinação dos parâmetros desconhecidos a, b, c, a dependência funcional aceita

O método dos mínimos quadrados refere-se à determinação de parâmetros desconhecidos a, b, c,… dependência funcional aceita

y = f(x,a,b,c,…),

o que forneceria um mínimo do quadrado médio (variância) do erro

, (24)

onde x i, y i é um conjunto de pares de números obtidos no experimento.

Como a condição para o extremo de uma função de várias variáveis ​​é a condição de que suas derivadas parciais sejam iguais a zero, então os parâmetros a, b, c,… são determinados a partir do sistema de equações:

; ; ; … (25)

Deve ser lembrado que o método dos mínimos quadrados é usado para selecionar parâmetros após o tipo de função y =f(x) definiram

Se, a partir de considerações teóricas, não for possível tirar conclusões sobre qual deveria ser a fórmula empírica, então será necessário guiar-se por representações visuais, principalmente por representações gráficas dos dados observados.

Na prática, eles são mais frequentemente limitados aos seguintes tipos de funções:

1) linear ;

2) quadrático a.

Tendo escolhido o tipo de função de regressão, ou seja, o tipo de modelo considerado de dependência de Y em X (ou X em Y), por exemplo, um modelo linear y x =a+bx, é necessário determinar os valores específicos dos coeficientes do modelo.

Para diferentes valores de a e b, é possível construir um número infinito de dependências da forma y x = a + bx, ou seja, há um número infinito de linhas retas no plano coordenado, mas precisamos de uma dependência que melhor corresponde aos valores observados. Assim, a tarefa se resume a selecionar os melhores coeficientes.

Procuramos a função linear a+bx com base apenas em um certo número de observações disponíveis. Para encontrar a função que melhor se ajusta aos valores observados, usamos o método dos mínimos quadrados.

Denotemos: Y i - o valor calculado pela equação Y i =a+bx i. y i - valor medido, ε i =y i -Y i - diferença entre os valores medidos e calculados usando a equação, ε i =y i -a-bx i .

O método dos mínimos quadrados exige que ε i, a diferença entre o y i medido e os valores Y i calculados a partir da equação, seja mínima. Consequentemente, encontramos os coeficientes aeb de modo que a soma dos desvios quadrados dos valores observados dos valores na reta de regressão seja a menor:

Examinando esta função dos argumentos a e para extremo usando derivadas, podemos provar que a função assume um valor mínimo se os coeficientes a e b forem soluções do sistema:

(2)

Se dividirmos ambos os lados das equações normais por n, obtemos:

Considerando que (3)

Nós temos , a partir daqui, substituindo o valor de a na primeira equação, obtemos:

Neste caso, b é denominado coeficiente de regressão; a é chamado de termo livre da equação de regressão e é calculado usando a fórmula:

A linha reta resultante é uma estimativa para a linha de regressão teórica. Nós temos:

Então, é uma equação de regressão linear.

A regressão pode ser direta (b>0) e reversa (b Exemplo 1. Os resultados da medição dos valores de X e Y são apresentados na tabela:

Supondo que existe uma relação linear entre X e Y y=a+bx, determine os coeficientes aeb usando o método dos mínimos quadrados.

Solução. Aqui n=5
x i =-2+0+1+2+4=5;
x eu 2 =4+0+1+4+16=25
x eu y eu =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
e eu =0,5+1+1,5+2+3=8

e o sistema normal (2) tem a forma

Resolvendo este sistema, obtemos: b=0,425, a=1,175. Portanto y=1,175+0,425x.

Exemplo 2. Existe uma amostra de 10 observações de indicadores económicos (X) e (Y).

Você precisa encontrar uma equação de regressão de amostra de Y em X. Construa uma linha de regressão de amostra de Y em X.

Solução. 1. Vamos classificar os dados de acordo com os valores x i e y i . Obtemos uma nova tabela:

Para simplificar os cálculos, elaboraremos uma tabela de cálculo na qual inseriremos os valores numéricos necessários.

De acordo com a fórmula (4), calculamos o coeficiente de regressão

e de acordo com a fórmula (5)

Assim, a equação de regressão amostral é y=-59,34+1,3804x.
Vamos traçar os pontos (x i ; y i) no plano coordenado e marcar a linha de regressão.

Figura 4

A Figura 4 mostra como os valores observados estão localizados em relação à linha de regressão. Para avaliar numericamente os desvios de y i de Y i, onde y i são observados e Y i são valores determinados por regressão, criamos uma tabela:

Os valores de Yi são calculados de acordo com a equação de regressão.

O notável desvio de alguns valores observados da linha de regressão é explicado pelo pequeno número de observações. Ao estudar o grau de dependência linear de Y em X, o número de observações é levado em consideração. A força da dependência é determinada pelo valor do coeficiente de correlação.

Um dos métodos para estudar as relações estocásticas entre características é a análise de regressão.
A análise de regressão é a derivação de uma equação de regressão, com a ajuda da qual o valor médio de uma variável aleatória (atributo de resultado) é encontrado se o valor de outra (ou outras) variáveis ​​​​(atributos de fator) for conhecido. Inclui as seguintes etapas:

1. seleção da forma de conexão (tipo de equação de regressão analítica);
2. estimativa de parâmetros de equações;
3. avaliação da qualidade da equação de regressão analítica.

Mais frequentemente usado para estimar parâmetros método dos mínimos quadrados (LSM).
O método dos mínimos quadrados fornece as melhores estimativas (consistentes, eficientes e imparciais) dos parâmetros da equação de regressão. Mas somente se certas suposições relativas ao termo aleatório (u) e à variável independente (x) forem atendidas (ver suposições MQO).

O problema de estimar os parâmetros de uma equação de pares lineares usando o método dos mínimos quadradosé o seguinte: para obter tais estimativas de parâmetros , , nos quais a soma dos desvios quadrados dos valores reais da característica resultante - y i dos valores calculados - é mínima.
Formalmente Teste OLS pode ser escrito assim: .

Classificação dos métodos de mínimos quadrados

1. Método dos mínimos quadrados.
2. Método de máxima verossimilhança (para um modelo de regressão linear clássico normal, postula-se a normalidade dos resíduos da regressão).
3. O método MQO de mínimos quadrados generalizados é utilizado no caso de autocorrelação de erros e no caso de heterocedasticidade.
4. Método dos mínimos quadrados ponderados (um caso especial de MQO com resíduos heterocedásticos).

Vamos ilustrar o ponto método clássico dos mínimos quadrados graficamente. Para fazer isso, construiremos um gráfico de dispersão baseado em dados observacionais (x i, y i, i=1;n) em um sistema de coordenadas retangulares (tal gráfico de dispersão é chamado de campo de correlação). Vamos tentar escolher uma linha reta que esteja mais próxima dos pontos do campo de correlação. De acordo com o método dos mínimos quadrados, a reta é selecionada de forma que a soma dos quadrados das distâncias verticais entre os pontos do campo de correlação e esta reta seja mínima.

Notação matemática para este problema: .
Os valores de y i e x i =1...n são conhecidos por nós; Na função S eles representam constantes. As variáveis ​​nesta função são as estimativas necessárias dos parâmetros - , . Para encontrar o mínimo de uma função de duas variáveis, é necessário calcular as derivadas parciais desta função para cada um dos parâmetros e igualá-las a zero, ou seja, .
Como resultado, obtemos um sistema de 2 equações lineares normais:
Resolvendo este sistema, encontramos as estimativas dos parâmetros necessários:

A exatidão do cálculo dos parâmetros da equação de regressão pode ser verificada comparando os valores (pode haver alguma discrepância devido ao arredondamento dos cálculos).
Para calcular estimativas de parâmetros, você pode construir a Tabela 1.
O sinal do coeficiente de regressão b indica a direção da relação (se b >0, a relação é direta, se b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalmente, o valor do parâmetro a é o valor médio de y com x igual a zero. Se o fator-atributo não tem e não pode ter valor zero, então a interpretação acima do parâmetro a não faz sentido.

Avaliando a proximidade da relação entre as características realizada utilizando o coeficiente de correlação de pares lineares - r x,y. Pode ser calculado usando a fórmula: . Além disso, o coeficiente de correlação de pares lineares pode ser determinado através do coeficiente de regressão b: .
A faixa de valores aceitáveis ​​​​do coeficiente de correlação de pares lineares é de –1 a +1. O sinal do coeficiente de correlação indica a direção do relacionamento. Se r x, y >0, então a conexão é direta; se r x, y<0, то связь обратная.
Se este coeficiente estiver próximo da unidade em magnitude, então a relação entre as características pode ser interpretada como linear bastante próxima. Se seu módulo for igual a um ê r x , y ê =1, então a relação entre as características é linear funcional. Se os recursos x e y são linearmente independentes, então r x,y está próximo de 0.
Para calcular r x,y, você também pode usar a Tabela 1.

Para avaliar a qualidade da equação de regressão resultante, calcule o coeficiente de determinação teórico - R 2 yx:

,
onde d 2 é a variância de y explicada pela equação de regressão;
e 2 - variância residual (não explicada pela equação de regressão) de y;
s 2 y - variância total (total) de y.
O coeficiente de determinação caracteriza a proporção da variação (dispersão) do atributo resultante y explicada pela regressão (e, consequentemente, do fator x) na variação total (dispersão) y. O coeficiente de determinação R 2 yx assume valores de 0 a 1. Assim, o valor 1-R 2 yx caracteriza a proporção da variância y causada pela influência de outros fatores não levados em consideração no modelo e erros de especificação.
Com regressão linear pareada, R 2 yx =r 2 yx.

Método dos mínimos quadrados

Método dos mínimos quadrados ( OLS, OLS, Mínimos Quadrados Ordinários) - um dos métodos básicos de análise de regressão para estimar parâmetros desconhecidos de modelos de regressão usando dados amostrais. O método baseia-se na minimização da soma dos quadrados dos resíduos da regressão.

Deve-se notar que o próprio método dos mínimos quadrados pode ser chamado de método para resolver um problema em qualquer área se a solução residir ou satisfazer algum critério para minimizar a soma dos quadrados de algumas funções das variáveis ​​​​requeridas. Portanto, o método dos mínimos quadrados também pode ser usado para uma representação aproximada (aproximação) de uma determinada função por outras funções (mais simples), ao encontrar um conjunto de quantidades que satisfaçam equações ou restrições, cujo número excede o número dessas quantidades. , etc.

A essência da multinacional

Seja dado algum modelo (paramétrico) de uma relação probabilística (regressão) entre a variável (explicada) sim e muitos fatores (variáveis ​​explicativas) x

onde está o vetor de parâmetros do modelo desconhecidos

Que haja também observações amostrais dos valores dessas variáveis. Seja o número da observação (). Depois estão os valores das variáveis ​​na observação. Então, para determinados valores dos parâmetros b, é possível calcular os valores teóricos (modelo) da variável explicada y:

O tamanho dos resíduos depende dos valores dos parâmetros b.

A essência do método dos mínimos quadrados (comum, clássico) é encontrar os parâmetros b para os quais a soma dos quadrados dos resíduos (eng. Soma Residual de Quadrados) será mínimo:

No caso geral, este problema pode ser resolvido por métodos de otimização numérica (minimização). Neste caso eles falam sobre mínimos quadrados não lineares(NLS ou NLLS - Inglês) Mínimos Quadrados Não Lineares). Em muitos casos é possível obter uma solução analítica. Para resolver o problema de minimização, é necessário encontrar os pontos estacionários da função diferenciando-a em relação aos parâmetros desconhecidos b, igualando as derivadas a zero e resolvendo o sistema de equações resultante:

Se os erros aleatórios do modelo forem normalmente distribuídos, tiverem a mesma variância e não forem correlacionados, as estimativas dos parâmetros MQO serão iguais às estimativas de máxima verossimilhança (MLM).

OLS no caso de um modelo linear

Deixe a dependência da regressão ser linear:

Deixar simé um vetor coluna de observações da variável explicada e é uma matriz de observações fatoriais (as linhas da matriz são os vetores dos valores dos fatores em uma determinada observação, as colunas são o vetor dos valores de um determinado fator em todas as observações). A representação matricial do modelo linear é:

Então o vetor de estimativas da variável explicada e o vetor de resíduos de regressão serão iguais

Assim, a soma dos quadrados dos resíduos da regressão será igual a

Diferenciando esta função em relação ao vetor de parâmetros e igualando as derivadas a zero, obtemos um sistema de equações (em forma de matriz):

A solução deste sistema de equações fornece a fórmula geral para estimativas de mínimos quadrados para um modelo linear:

Para fins analíticos, a última representação desta fórmula é útil. Se em um modelo de regressão os dados centrado, então nesta representação a primeira matriz tem o significado de uma matriz de covariâncias amostrais de fatores, e a segunda é um vetor de covariâncias de fatores com a variável dependente. Se além disso os dados também forem normalizado para MSE (ou seja, em última análise padronizado), então a primeira matriz tem o significado de uma matriz de correlação amostral de fatores, o segundo vetor - um vetor de correlações amostrais de fatores com a variável dependente.

Uma propriedade importante das estimativas OLS para modelos com constante- a reta da regressão construída passa pelo centro de gravidade dos dados amostrais, ou seja, a igualdade é satisfeita:

Em particular, no caso extremo, quando o único regressor é uma constante, descobrimos que a estimativa OLS do único parâmetro (a própria constante) é igual ao valor médio da variável explicada. Ou seja, a média aritmética, conhecida por suas boas propriedades a partir das leis dos grandes números, também é uma estimativa de mínimos quadrados - satisfaz o critério da soma mínima dos desvios quadrados dela.

Exemplo: regressão mais simples (em pares)

No caso de regressão linear pareada, as fórmulas de cálculo são simplificadas (você pode fazer sem álgebra matricial):

Propriedades dos estimadores OLS

Em primeiro lugar, notamos que para modelos lineares, as estimativas OLS são estimativas lineares, como segue da fórmula acima. Para estimativas de MQO imparciais, é necessário e suficiente cumprir a condição mais importante da análise de regressão: a expectativa matemática de um erro aleatório, condicional aos fatores, deve ser igual a zero. Esta condição, em particular, é satisfeita se

1. a expectativa matemática de erros aleatórios é zero, e
2. fatores e erros aleatórios são variáveis ​​aleatórias independentes.

A segunda condição – a condição de exogeneidade dos fatores – é fundamental. Se esta propriedade não for atendida, podemos assumir que quase todas as estimativas serão extremamente insatisfatórias: elas nem serão consistentes (ou seja, mesmo uma quantidade muito grande de dados não nos permite obter estimativas de alta qualidade neste caso ). No caso clássico, é feita uma suposição mais forte sobre o determinismo dos fatores, em oposição a um erro aleatório, o que significa automaticamente que a condição de exogeneidade é satisfeita. No caso geral, para a consistência das estimativas, é suficiente satisfazer a condição de exogeneidade juntamente com a convergência da matriz para alguma matriz não singular à medida que o tamanho da amostra aumenta até o infinito.

Para que, além da consistência e imparcialidade, as estimativas de mínimos quadrados (comuns) também sejam eficazes (as melhores na classe de estimativas lineares imparciais), propriedades adicionais de erro aleatório devem ser atendidas:

Essas suposições podem ser formuladas para a matriz de covariância do vetor de erro aleatório

Um modelo linear que satisfaça essas condições é chamado clássico. As estimativas OLS para regressão linear clássica são imparciais, consistentes e as estimativas mais eficazes na classe de todas as estimativas lineares imparciais (na literatura inglesa a abreviatura às vezes é usada AZUL (Melhor estimador linear não fundamentado) - a melhor estimativa linear imparcial; na literatura russa, o teorema de Gauss-Markov é citado com mais frequência). Como é fácil de mostrar, a matriz de covariância do vetor de estimativas de coeficientes será igual a:

MQO generalizados

O método dos mínimos quadrados permite ampla generalização. Em vez de minimizar a soma dos quadrados dos resíduos, pode-se minimizar alguma forma quadrática definida positiva do vetor de resíduos, onde está alguma matriz de peso definido positivo simétrica. Os mínimos quadrados convencionais são um caso especial desta abordagem, onde a matriz de pesos é proporcional à matriz identidade. Como se sabe pela teoria das matrizes simétricas (ou operadores), para tais matrizes existe uma decomposição. Consequentemente, o funcional especificado pode ser representado da seguinte forma, ou seja, este funcional pode ser representado como a soma dos quadrados de alguns “restos” transformados. Assim, podemos distinguir uma classe de métodos de mínimos quadrados - métodos LS (Least Squares).

Foi comprovado (teorema de Aitken) que para um modelo de regressão linear generalizado (no qual não são impostas restrições à matriz de covariância dos erros aleatórios), as mais eficazes (na classe das estimativas lineares imparciais) são as chamadas estimativas. Mínimos Quadrados Generalizados (GLS - Mínimos Quadrados Generalizados)- Método LS com matriz de pesos igual à matriz de covariância inversa dos erros aleatórios: .

Pode-se mostrar que a fórmula para estimativas GLS dos parâmetros de um modelo linear tem a forma

A matriz de covariância dessas estimativas será, portanto, igual a

Na verdade, a essência do OLS reside em uma certa transformação (linear) (P) dos dados originais e na aplicação de OLS comum aos dados transformados. O objetivo desta transformação é que, para os dados transformados, os erros aleatórios já satisfaçam as suposições clássicas.

MQO ponderado

No caso de uma matriz de pesos diagonais (e, portanto, de uma matriz de covariâncias de erros aleatórios), temos os chamados Mínimos Quadrados Ponderados (WLS). Neste caso, a soma dos quadrados ponderada dos resíduos do modelo é minimizada, ou seja, cada observação recebe um “peso” que é inversamente proporcional à variância do erro aleatório nesta observação: . Na verdade, os dados são transformados ponderando as observações (dividindo por um valor proporcional ao desvio padrão estimado dos erros aleatórios), e MQO ordinários são aplicados aos dados ponderados.

Alguns casos especiais de uso de multinacionais na prática

Aproximação de dependência linear

Consideremos o caso quando, como resultado do estudo da dependência de uma certa quantidade escalar em uma certa quantidade escalar (Esta poderia ser, por exemplo, a dependência da tensão na intensidade da corrente: , onde é um valor constante, a resistência de o condutor), foram realizadas medições dessas grandezas, a partir das quais foram obtidos os valores e seus correspondentes valores. Os dados de medição devem ser registrados em uma tabela.

Mesa. Resultados de medição.

A questão é: qual valor do coeficiente pode ser selecionado para melhor descrever a dependência? De acordo com o método dos mínimos quadrados, este valor deve ser tal que a soma dos desvios quadrados dos valores dos valores

era mínimo

A soma dos desvios quadrados tem um extremo - um mínimo, o que nos permite usar esta fórmula. Vamos encontrar nesta fórmula o valor do coeficiente. Para fazer isso, transformamos seu lado esquerdo da seguinte forma:

A última fórmula permite-nos encontrar o valor do coeficiente, que é o exigido no problema.

História

Até o início do século XIX. os cientistas não tinham regras certas para resolver um sistema de equações em que o número de incógnitas fosse menor que o número de equações; Até então, eram utilizadas técnicas privadas que dependiam do tipo de equações e da inteligência das calculadoras e, portanto, diferentes calculadoras, baseadas nos mesmos dados observacionais, chegavam a conclusões diferentes. Gauss (1795) foi o primeiro a usar o método, e Legendre (1805) descobriu-o e publicou-o independentemente sob seu nome moderno (francês. Méthode des moindres quarrés ). Laplace relacionou o método à teoria da probabilidade, e o matemático americano Adrain (1808) considerou suas aplicações teóricas da probabilidade. O método foi difundido e melhorado por pesquisas adicionais de Encke, Bessel, Hansen e outros.

Usos alternativos do OLS

A ideia do método dos mínimos quadrados também pode ser utilizada em outros casos não diretamente relacionados à análise de regressão. O fato é que a soma dos quadrados é uma das medidas de proximidade mais comuns para vetores (métrica euclidiana em espaços de dimensão finita).

Uma aplicação é a “solução” de sistemas de equações lineares em que o número de equações é maior que o número de variáveis

onde a matriz não é quadrada, mas retangular de tamanho.

Tal sistema de equações, no caso geral, não tem solução (se a classificação for realmente maior que o número de variáveis). Portanto, este sistema pode ser “resolvido” apenas no sentido de escolher tal vetor para minimizar a “distância” entre os vetores e. Para isso, pode-se aplicar o critério de minimização da soma dos quadrados das diferenças entre os lados esquerdo e direito das equações do sistema, ou seja. É fácil mostrar que a resolução deste problema de minimização leva à resolução do seguinte sistema de equações