Metoda celor mai mici pătrate este construită pe condiție. Unde se aplică metoda celor mai mici pătrate?

Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor liniar. În același timp, trebuie avută o anumită precauție atunci când îl utilizați, deoarece modelele construite folosindu-l pot să nu îndeplinească o serie de cerințe pentru calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului.

Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Un astfel de model în formă generală poate fi reprezentat prin ecuația (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n este vectorul valorilor variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente

în care prima coloană, formată din unele, corespunde coeficientului modelului .

Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei ar trebui să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.

Exemple de rezolvare a problemelor prin metoda celor mai mici pătrate

Exemplul 2.1.Întreprinderea comercială are o rețea formată din 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.

Conducerea companiei ar dori să știe cum depinde mărimea anuală de zona de vânzare a magazinului.

Tabelul 2.1

Soluția celor mai mici pătrate. Să desemnăm - cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; - suprafață de vânzare a celui de-al-lea magazin, mii m2.

Fig.2.1. Scatterplot pentru Exemplul 2.1

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.1).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de zona de vânzare (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este − liniar.

Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii modelului econometric liniar cu un singur factor

Tabelul 2.2

În acest fel,

Prin urmare, cu o creștere a suprafeței de tranzacționare cu 1 mie m 2, restul fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.

Exemplul 2.2. Conducerea întreprinderii a observat că cifra de afaceri anuală depinde nu numai de zona de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.

Tabelul 2.3

Soluţie. Indicați - numărul mediu de vizitatori ai magazinului pe zi, mii de persoane.

Pentru a determina forma relației funcționale dintre variabile și a construi un grafic de dispersie (Fig. 2.2).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este legată pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.

Orez. 2.2. Scatterplot, de exemplu 2.2

Tabelul 2.4

În general, este necesar să se determine parametrii modelului econometric cu doi factori

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.

Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.

În acest fel,

Evaluarea coeficientului = 61,6583 arată că, toate celelalte fiind egale, cu o creștere a suprafeței de vânzare cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane de ruble.

Aproximăm funcția printr-un polinom de gradul 2. Pentru a face acest lucru, calculăm coeficienții sistemului normal de ecuații:

, ,

Să compunem un sistem normal de cele mai mici pătrate, care are forma:

Soluția sistemului este ușor de găsit:, , .

Astfel, polinomul de gradul II se găsește: .

Referință teoretică

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplul 2. Aflarea gradului optim al unui polinom.

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplul 3. Derivarea unui sistem normal de ecuații pentru găsirea parametrilor unei dependențe empirice.

Să derivăm un sistem de ecuații pentru determinarea coeficienților și funcțiilor , care efectuează aproximarea rădăcină pătrată medie a funcției date în raport cu punctele. Compuneți o funcție și scrieți condiția extremum necesară pentru aceasta:

Atunci sistemul normal va lua forma:

Am obținut un sistem liniar de ecuații pentru parametrii necunoscuți și care este ușor de rezolvat.

Referință teoretică

Înapoi la pagină<Введение в вычислительную математику. Примеры>

Exemplu.

Date experimentale despre valorile variabilelor Xși la sunt date în tabel.

Ca urmare a alinierii lor, funcția

Folosind metoda celor mai mici pătrate, aproximați aceste date cu o dependență liniară y=ax+b(găsiți parametri Ași b). Aflați care dintre cele două linii este mai bună (în sensul metodei celor mai mici pătrate) aliniază datele experimentale. Faceți un desen.

Esența metodei celor mai mici pătrate (LSM).

Problema este de a găsi coeficienții de dependență liniară pentru care funcția a două variabile Ași bia cea mai mică valoare. Adică având în vedere datele Ași b suma abaterilor pătrate ale datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.

Astfel, soluția exemplului se reduce la găsirea extremului unei funcții a două variabile.

Derivarea formulelor pentru găsirea coeficienților.

Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale funcțiilor prin variabile Ași b, echivalăm aceste derivate cu zero.

Rezolvăm sistemul de ecuații rezultat prin orice metodă (de exemplu metoda de substitutie sau metoda lui Cramer) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM).

Cu date Ași b funcţie ia cea mai mică valoare. Dovada acestui fapt este dată mai jos în textul de la sfârșitul paginii.

Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , , și parametrul n este cantitatea de date experimentale. Se recomandă ca valorile acestor sume să fie calculate separat.

Coeficient b găsit după calcul A.

Este timpul să ne amintim de exemplul original.

Soluţie.

În exemplul nostru n=5. Completam tabelul pentru comoditatea calculării sumelor care sunt incluse în formulele coeficienților necesari.

Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.

Valorile din al cincilea rând al tabelului se obțin prin pătrarea valorilor din al doilea rând pentru fiecare număr i.

Valorile ultimei coloane a tabelului sunt sumele valorilor de pe rânduri.

Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții Ași b. Înlocuim în ele valorile corespunzătoare din ultima coloană a tabelului:

Prin urmare, y=0,165x+2,184 este linia dreaptă de aproximare dorită.

Rămâne să aflăm care dintre rânduri y=0,165x+2,184 sau aproximează mai bine datele originale, adică să facă o estimare folosind metoda celor mai mici pătrate.

Estimarea erorii metodei celor mai mici pătrate.

Pentru a face acest lucru, trebuie să calculați sumele abaterilor pătrate ale datelor originale din aceste linii și , o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în ceea ce privește metoda celor mai mici pătrate.

De la , apoi linia y=0,165x+2,184 aproximează mai bine datele originale.

Ilustrare grafică a metodei celor mai mici pătrate (LSM).

Totul arată grozav în topuri. Linia roșie este linia găsită y=0,165x+2,184, linia albastră este , punctele roz sunt datele originale.

Pentru ce este, pentru ce sunt toate aceste aproximări?

Eu personal folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original, vi se poate cere să găsiți valoarea valorii observate y la x=3 sau când x=6 conform metodei MNC). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului.

Începutul paginii

Dovada.

Așa că atunci când este găsit Ași b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie a fost pozitiv definit. Să arătăm.

Diferenţialul de ordinul doi are forma:

Acesta este

Prin urmare, matricea formei pătratice are forma

iar valorile elementelor nu depind de Ași b.

Să arătăm că matricea este definită pozitivă. Acest lucru necesită ca unghiul minori să fie pozitiv.

Minor unghiular de ordinul întâi . Inegalitatea este strictă, deoarece punctele nu coincid. Acest lucru va fi implicat în cele ce urmează.

Minor unghiular de ordinul doi

Să demonstrăm asta metoda de inductie matematica.

Concluzie: valori găsite Ași b corespund celei mai mici valori a funcției , prin urmare, sunt parametrii doriti pentru metoda celor mai mici pătrate.

A înțeles vreodată?
Comandați o soluție

Începutul paginii

Elaborarea unei prognoze folosind metoda celor mai mici pătrate. Exemplu de rezolvare a problemei

Extrapolarea - aceasta este o metodă de cercetare științifică, care se bazează pe diseminarea tendințelor trecute și prezente, tipare, relații cu dezvoltarea viitoare a obiectului de prognoză. Metodele de extrapolare includ metoda mediei mobile, metoda netezirii exponențiale, metoda celor mai mici pătrate.

Esență metoda celor mai mici pătrate constă în minimizarea sumei abaterilor pătrate dintre valorile observate şi cele calculate. Valorile calculate se găsesc în funcție de ecuația selectată - ecuația de regresie. Cu cât distanța dintre valorile reale și cele calculate este mai mică, cu atât prognoza este mai precisă pe baza ecuației de regresie.

Analiza teoretică a esenței fenomenului studiat, a cărui modificare este afișată printr-o serie temporală, servește drept bază pentru alegerea unei curbe. Considerații despre natura creșterii nivelurilor seriei sunt uneori luate în considerare. Deci, dacă creșterea producției este de așteptat într-o progresie aritmetică, atunci netezirea este efectuată în linie dreaptă. Dacă se dovedește că creșterea este exponențială, atunci netezirea trebuie făcută în funcție de funcția exponențială.

Formula de lucru a metodei celor mai mici pătrate : Y t+1 = a*X + b, unde t + 1 este perioada de prognoză; Уt+1 – indicator prezis; a și b sunt coeficienți; X este un simbol al timpului.

Coeficienții a și b se calculează după următoarele formule:

unde, Uf - valorile reale ale seriei de dinamică; n este numărul de niveluri din seria temporală;

Netezirea seriilor de timp prin metoda celor mai mici pătrate servește la reflectarea tiparelor de dezvoltare a fenomenului studiat. În exprimarea analitică a unei tendințe, timpul este considerat ca o variabilă independentă, iar nivelurile seriei acționează în funcție de această variabilă independentă.

Dezvoltarea unui fenomen nu depinde de câți ani au trecut de la punctul de plecare, ci de ce factori au influențat dezvoltarea lui, în ce direcție și cu ce intensitate. Din aceasta rezultă clar că dezvoltarea unui fenomen în timp apare ca urmare a acțiunii acestor factori.

Stabilirea corectă a tipului de curbă, tipul de dependență analitică de timp este una dintre cele mai dificile sarcini ale analizei pre-predictive. .

Alegerea tipului de funcție care descrie tendința, ai cărui parametri sunt determinați prin metoda celor mai mici pătrate, este în majoritatea cazurilor empirică, prin construirea unui număr de funcții și compararea lor între ele în funcție de valoarea rădăcinii. eroare pătratică medie, calculată prin formula:

unde Uf - valorile reale ale seriei de dinamică; Ur – valorile calculate (netezite) ale seriei de timp; n este numărul de niveluri din seria temporală; p este numărul de parametri definiți în formulele care descriu tendința (tendința de dezvoltare).

Dezavantajele metodei celor mai mici pătrate :

• atunci când se încearcă descrierea fenomenului economic studiat folosind o ecuație matematică, prognoza va fi precisă pentru o perioadă scurtă de timp și ecuația de regresie ar trebui recalculată pe măsură ce devin disponibile noi informații;
• complexitatea selecției ecuației de regresie, care poate fi rezolvată folosind programe de calculator standard.

Un exemplu de utilizare a metodei celor mai mici pătrate pentru a dezvolta o prognoză

O sarcină . Există date care caracterizează nivelul șomajului în regiune, %

• Construiți o prognoză a ratei șomajului în regiune pentru lunile noiembrie, decembrie, ianuarie, folosind metodele: medie mobilă, netezire exponențială, cele mai mici pătrate.
• Calculați erorile din prognozele rezultate folosind fiecare metodă.
• Comparați rezultatele obținute, trageți concluzii.

Soluția celor mai mici pătrate

Pentru rezolvare, vom alcătui un tabel în care vom face calculele necesare:

ε = 28,63/10 = 2,86% exactitatea prognozeiînalt.

Concluzie : Compararea rezultatelor obţinute în calcule metoda mediei mobile , netezire exponenţială și metoda celor mai mici pătrate, putem spune că eroarea relativă medie în calcule prin metoda de netezire exponențială se încadrează în 20-50%. Aceasta înseamnă că precizia predicției în acest caz este doar satisfăcătoare.

În primul și al treilea caz, acuratețea prognozei este mare, deoarece eroarea relativă medie este mai mică de 10%. Dar metoda mediei mobile a făcut posibilă obținerea unor rezultate mai fiabile (prognoză pentru noiembrie - 1,52%, prognoză pentru decembrie - 1,53%, prognoză pentru ianuarie - 1,49%), deoarece eroarea relativă medie la utilizarea acestei metode este cea mai mică - 1 ,13%.

Metoda celor mai mici pătrate

Alte articole conexe:

Lista surselor utilizate

1. Recomandări științifice și metodologice privind problemele diagnosticării riscurilor sociale și prognozării provocărilor, amenințărilor și consecințelor sociale. Universitatea Socială de Stat din Rusia. Moscova. 2010;
2. Vladimirova L.P. Prognoza si planificare in conditii de piata: Proc. indemnizatie. M .: Editura „Dashkov and Co”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognoza economiei naționale: Ghid educațional și metodologic. Ekaterinburg: Editura Ural. stat economie universitate, 2007;
4. Slutskin L.N. Curs MBA în previziunea afacerilor. Moscova: Alpina Business Books, 2006.

Programul MNE

Introduceți datele

Date și aproximare y = a + b x

i- numărul punctului experimental;
x i- valoarea parametrului fix la punct i;
y eu- valoarea parametrului măsurat în punct i;
ω i- greutate de măsurare la punct i;
y i, calc.- diferenţa dintre valoarea măsurată şi valoarea calculată din regresie y la punct i;
S x i (x i)- estimarea erorii x i la măsurare y la punct i.

Date și aproximare y = kx

Faceți clic pe diagramă

Manual de utilizare pentru programul online MNC.

În câmpul de date, introduceți pe fiecare linie separată valorile lui `x` și `y` la un punct experimental. Valorile trebuie separate prin spații albe (spațiu sau tab).

A treia valoare poate fi greutatea punctului lui `w`. Dacă greutatea punctului nu este specificată, atunci aceasta este egală cu unu. În majoritatea covârșitoare a cazurilor, ponderile punctelor experimentale sunt necunoscute sau necalculate; toate datele experimentale sunt considerate echivalente. Uneori, ponderile din intervalul de valori studiat nu sunt cu siguranță echivalente și pot fi chiar calculate teoretic. De exemplu, în spectrofotometrie, greutățile pot fi calculate folosind formule simple, deși practic toată lumea neglijează acest lucru pentru a reduce costurile cu forța de muncă.

Datele pot fi lipite prin clipboard dintr-o foaie de calcul dintr-o suită de birou, cum ar fi Excel din Microsoft Office sau Calc din Open Office. Pentru a face acest lucru, în foaia de calcul, selectați intervalul de date de copiat, copiați în clipboard și inserați datele în câmpul de date de pe această pagină.

Pentru a calcula prin metoda celor mai mici pătrate, sunt necesare cel puțin două puncte pentru a determina doi coeficienți `b` - tangenta unghiului de înclinare a dreptei și `a` - valoarea tăiată de linia dreaptă pe `y ` axa.

Pentru a estima eroarea coeficienților de regresie calculați, este necesar să setați numărul de puncte experimentale la mai mult de două.

Metoda celor mai mici pătrate (LSM).

Cu cât numărul de puncte experimentale este mai mare, cu atât estimarea statistică a coeficienților este mai precisă (datorită scăderii coeficientului Student) și cu atât estimarea este mai apropiată de estimarea eșantionului general.

Obținerea valorilor la fiecare punct experimental este adesea asociată cu costuri semnificative ale forței de muncă, prin urmare, se efectuează adesea un număr compromis de experimente, ceea ce oferă o estimare digerabilă și nu duce la costuri excesive ale forței de muncă. De regulă, numărul de puncte experimentale pentru o dependență liniară a celor mai mici pătrate cu doi coeficienți este ales în regiunea de 5-7 puncte.

O scurtă teorie a celor mai mici pătrate pentru dependența liniară

Să presupunem că avem un set de date experimentale sub formă de perechi de valori [`y_i`, `x_i`], unde `i` este numărul unei măsurători experimentale de la 1 la `n`; `y_i` - valoarea valorii măsurate în punctul `i`; `x_i` - valoarea parametrului pe care îl setăm în punctul `i`.

Un exemplu este operarea legii lui Ohm. Schimbând tensiunea (diferența de potențial) între secțiunile circuitului electric, măsurăm cantitatea de curent care trece prin această secțiune. Fizica ne oferă dependența găsită experimental:

„I=U/R”,
unde `I` - puterea curentului; `R` - rezistenta; `U` - tensiune.

În acest caz, `y_i` este valoarea curentului măsurat, iar `x_i` este valoarea tensiunii.

Ca un alt exemplu, luați în considerare absorbția luminii de către o soluție a unei substanțe în soluție. Chimia ne dă formula:

`A = εl C`,
unde „A” este densitatea optică a soluției; `ε` - transmitanța soluției; `l` - lungimea drumului când lumina trece printr-o cuvă cu o soluție; `C` este concentrația substanței dizolvate.

În acest caz, `y_i` este densitatea optică măsurată `A`, iar `x_i` este concentrația substanței pe care am stabilit-o.

Vom lua în considerare cazul în care eroarea relativă în setarea lui `x_i` este mult mai mică decât eroarea relativă în măsurarea lui `y_i`. Vom presupune, de asemenea, că toate valorile măsurate ale lui `y_i` sunt aleatorii și distribuite normal, de exemplu. respectă legea distribuției normale.

În cazul unei dependențe liniare a lui `y` de `x`, putem scrie dependența teoretică:
`y = a + bx`.

Din punct de vedere geometric, coeficientul `b` denotă tangenta unghiului de înclinare al dreptei la axa `x`, iar coeficientul `a` - valoarea lui `y` în punctul de intersecție al linie cu axa `y` (pentru `x = 0`).

Aflarea parametrilor dreptei de regresie.

Într-un experiment, valorile măsurate ale lui `y_i` nu pot sta exact pe linia teoretică din cauza erorilor de măsurare, care sunt întotdeauna inerente vieții reale. Prin urmare, o ecuație liniară trebuie reprezentată printr-un sistem de ecuații:
`y_i = a + b x_i + ε_i` (1),
unde `ε_i` este eroarea de măsurare necunoscută a lui `y` în al `i`-lea experiment.

Dependența (1) se mai numește regresie, adică dependenţa celor două mărimi una faţă de alta cu semnificaţie statistică.

Sarcina restabilirii dependenței este de a găsi coeficienții `a` și `b` din punctele experimentale [`y_i`, `x_i`].

Pentru a găsi coeficienții `a` și `b` se folosește de obicei metoda celor mai mici pătrate(MNK). Este un caz special al principiului maximului probabilitate.

Să rescriem (1) ca `ε_i = y_i - a - b x_i`.

Apoi suma erorilor pătrate va fi
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Principiul metodei celor mai mici pătrate este de a minimiza suma (2) în raport cu parametrii `a` și `b`.

Minimul este atins atunci când derivatele parțiale ale sumei (2) față de coeficienții `a` și `b` sunt egale cu zero:
`frac(partial Φ)(partial a) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial a) = 0`
`frac(partial Φ)(partial b) = frac(partial sum_(i=1)^(n) (y_i - a - b x_i)^2)(partial b) = 0`

Extinderea derivatelor, obținem un sistem de două ecuații cu două necunoscute:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Deschidem parantezele și transferăm sumele independente de coeficienții doriti în cealaltă jumătate, obținem un sistem de ecuații liniare:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = o sumă_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Rezolvând sistemul rezultat, găsim formule pentru coeficienții `a` și `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2)

Aceste formule au soluții când `n > 1` (linia poate fi trasă folosind cel puțin 2 puncte) și când determinantul `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, adică. când punctele `x_i` din experiment sunt diferite (adică când linia nu este verticală).

Estimarea erorilor în coeficienții dreptei de regresie

Pentru o estimare mai precisă a erorii în calcularea coeficienților `a` și `b`, este de dorit un număr mare de puncte experimentale. Când `n = 2`, este imposibil să se estimeze eroarea coeficienților, deoarece linia de aproximare va trece în mod unic prin două puncte.

Se determină eroarea variabilei aleatoare `V` legea acumulării erorilor
`S_V^2 = sum_(i=1)^p (frac(partial f)(partial z_i))^2 S_(z_i)^2`,
unde `p` este numărul de parametri `z_i` cu eroare `S_(z_i)` care afectează eroarea `S_V`;
`f` este o funcție de dependență a lui `V` pe `z_i`.

Să scriem legea cumulării erorilor pentru eroarea coeficienților `a` și `b`
`S_a^2 = sum_(i=1)^(n)(frac(partial a)(partial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(partial a) )(partial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(partial a)(partial y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(parțial b) )(parțial x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(parțial b)(parțial y_i))^2 `,
deoarece `S_(x_i)^2 = 0` (am făcut anterior o rezervă că eroarea lui `x` este neglijabilă).

`S_y^2 = S_(y_i)^2` - eroarea (varianță, abatere standard pătrată) în dimensiunea `y`, presupunând că eroarea este uniformă pentru toate valorile `y`.

Înlocuind formulele de calcul „a” și „b” în expresiile rezultate, obținem

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) „(4.2)

În majoritatea experimentelor reale, valoarea lui `Sy` nu este măsurată. Pentru a face acest lucru, este necesar să se efectueze mai multe măsurători (experimente) paralele la unul sau mai multe puncte ale planului, ceea ce crește timpul (și eventual costul) experimentului. Prin urmare, de obicei se presupune că abaterea lui `y` de la linia de regresie poate fi considerată aleatorie. Estimarea varianței „y” în acest caz este calculată prin formula.

`S_y^2 = S_(y, rest)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Divizorul `n-2` apare deoarece am redus numărul de grade de libertate datorită calculului a doi coeficienți pentru același eșantion de date experimentale.

Această estimare se mai numește și varianța reziduală relativă la dreapta de regresie `S_(y, rest)^2`.

Evaluarea semnificației coeficienților se realizează după criteriul Studentului

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Dacă criteriile calculate `t_a`, `t_b` sunt mai mici decât criteriile de tabel `t(P, n-2)`, atunci se consideră că coeficientul corespunzător nu este semnificativ diferit de zero cu o probabilitate dată `P`.

Pentru a evalua calitatea descrierii unei relații liniare, puteți compara `S_(y, rest)^2` și `S_(bar y)` relativ la medie folosind criteriul Fisher.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - eșantion estimare a varianței lui `y` față de medie.

Pentru a evalua eficacitatea ecuației de regresie pentru descrierea dependenței, se calculează coeficientul Fisher
`F = S_(bar y) / S_(y, rest)^2`,
care este comparat cu coeficientul Fisher tabelar `F(p, n-1, n-2)`.

Dacă `F > F(P, n-1, n-2)`, diferența dintre descrierea dependenței `y = f(x)` folosind ecuația de regresie și descrierea folosind media este considerată semnificativă statistic cu probabilitate `P`. Acestea. regresia descrie dependența mai bine decât răspândirea lui `y` în jurul mediei.

Faceți clic pe diagramă
pentru a adăuga valori la tabel

Metoda celor mai mici pătrate. Metoda celor mai mici pătrate înseamnă determinarea parametrilor necunoscuți a, b, c, dependența funcțională acceptată

Metoda celor mai mici pătrate înseamnă determinarea unor parametri necunoscuți a, b, c,... dependenta functionala acceptata

y = f(x,a,b,c,...),

care ar furniza un minim al pătratului mediu (varianta) erorii

, (24)

unde x i , y i - mulţime de perechi de numere obţinute din experiment.

Deoarece condiția pentru extremul unei funcții a mai multor variabile este condiția ca derivatele sale parțiale să fie egale cu zero, atunci parametrii a, b, c,... sunt determinate din sistemul de ecuații:

; ; ; … (25)

Trebuie amintit că metoda celor mai mici pătrate este folosită pentru a selecta parametrii după forma funcției y = f(x) definit.

Dacă din considerente teoretice este imposibil să tragem concluzii despre care ar trebui să fie formula empirică, atunci trebuie să ne ghidăm după reprezentări vizuale, în primul rând o reprezentare grafică a datelor observate.

În practică, cel mai adesea limitat la următoarele tipuri de funcții:

1) liniară ;

2) a pătratică .

Alegerea tipului de funcție de regresie, de ex. tipul modelului considerat al dependenței lui Y de X (sau X de Y), de exemplu, un model liniar y x = a + bx, este necesar să se determine valorile specifice ale coeficienților modelului.

Pentru diferite valori ale lui a și b, este posibil să construim un număr infinit de dependențe de forma y x = a + bx, adică există un număr infinit de linii pe planul de coordonate, dar avem nevoie de o astfel de dependență încât corespunde în cel mai bun mod valorilor observate. Astfel, problema se reduce la selectarea celor mai buni coeficienți.

Căutăm o funcție liniară a + bx, bazată doar pe un anumit număr de observații disponibile. Pentru a găsi funcția cu cea mai bună potrivire la valorile observate, folosim metoda celor mai mici pătrate.

Se notează: Y i - valoarea calculată prin ecuația Y i =a+bx i . y i - valoarea măsurată, ε i =y i -Y i - diferența dintre valorile măsurate și cele calculate, ε i =y i -a-bx i .

Metoda celor mai mici pătrate necesită ca ε i , diferența dintre yi măsurat și valorile lui Y i calculate din ecuație, să fie minimă. Prin urmare, găsim coeficienții a și b astfel încât suma abaterilor pătrate ale valorilor observate de la valorile de pe dreapta de regresie să fie cea mai mică:

Investigand aceasta functie a argumentelor a si cu ajutorul derivatelor la un extrem, putem demonstra ca functia ia o valoare minima daca coeficientii a si b sunt solutii ale sistemului:

(2)

Dacă împărțim ambele părți ale ecuațiilor normale la n, obținem:

Dat fiind (3)

obține , de aici, înlocuind valoarea lui a în prima ecuație, obținem:

În acest caz, b se numește coeficient de regresie; a se numește membrul liber al ecuației de regresie și se calculează prin formula:

Linia dreaptă rezultată este o estimare pentru dreapta de regresie teoretică. Avem:

Asa de, este o ecuație de regresie liniară.

Regresia poate fi directă (b>0) și inversă (b Exemplul 1. Rezultatele măsurării valorilor X și Y sunt date în tabel:

Presupunând că există o relație liniară între X și Y y=a+bx, determinați coeficienții a și b folosind metoda celor mai mici pătrate.

Soluţie. Aici n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

iar sistemul normal (2) are forma

Rezolvând acest sistem, obținem: b=0,425, a=1,175. Prin urmare y=1,175+0,425x.

Exemplul 2. Există un eșantion de 10 observații ale indicatorilor economici (X) și (Y).

Este necesar să găsiți o ecuație de regresie eșantion Y pe X. Construiți o dreaptă de regresie eșantion Y pe X.

Soluţie. 1. Să sortăm datele după valorile x i și y i . Primim un nou tabel:

Pentru a simplifica calculele, vom alcătui un tabel de calcul în care vom introduce valorile numerice necesare.

Conform formulei (4), calculăm coeficientul de regresie

și prin formula (5)

Astfel, ecuația de regresie a probei arată ca y=-59,34+1,3804x.
Să trasăm punctele (x i ; y i) pe planul de coordonate și să marchem dreapta de regresie.

Fig 4

Figura 4 arată cum sunt situate valorile observate în raport cu linia de regresie. Pentru a estima numeric abaterile lui y i de la Y i , unde y i sunt valori observate, iar Y i sunt valori determinate prin regresie, vom face un tabel:

Valorile Y i sunt calculate conform ecuației de regresie.

Abaterea notabilă a unor valori observate de la linia de regresie se explică prin numărul mic de observații. Când se studiază gradul de dependență liniară a lui Y față de X, se ia în considerare numărul de observații. Forța dependenței este determinată de valoarea coeficientului de corelație.

Una dintre metodele de studiu a relațiilor stocastice dintre caracteristici este analiza regresiei.
Analiza de regresie este derivarea unei ecuații de regresie, care este utilizată pentru a găsi valoarea medie a unei variabile aleatoare (caracteristică-rezultat), dacă este cunoscută valoarea altei (sau a altor) variabile (feature-factori). Acesta include următorii pași:

1. alegerea formei de conectare (tipul ecuației de regresie analitică);
2. estimarea parametrilor ecuației;
3. evaluarea calitatii ecuatiei de regresie analitica.

Cel mai frecvent utilizat pentru estimarea parametrilor este metoda celor mai mici pătrate (LSM).
Metoda celor mai mici pătrate oferă cele mai bune estimări (consistente, eficiente și imparțiale) ale parametrilor ecuației de regresie. Dar numai dacă sunt îndeplinite anumite ipoteze despre termenul aleator (u) și variabila independentă (x) (vezi ipotezele MCO).

Problema estimării parametrilor unei ecuații perechi liniare prin metoda celor mai mici pătrate constă în următoarele: obținerea unor astfel de estimări ale parametrilor , , la care suma abaterilor pătrate ale valorilor reale ale caracteristicii efective - y i din valorile calculate - este minimă.
Oficial criteriul OLS se poate scrie asa: .

Metode de clasificare a celor mai mici pătrate

1. Metoda celor mai mici pătrate.
2. Metoda maximei probabilități (pentru un model de regresie liniară clasică normală, se postulează normalitatea reziduurilor de regresie).
3. Metoda generalizată a celor mai mici pătrate a GLLS este utilizată în cazul autocorelației erorilor și în cazul heteroscedasticității.
4. Metoda celor mai mici pătrate ponderate (un caz special de GLSM cu reziduuri heteroscedastice).

Ilustrați esența metoda clasică a celor mai mici pătrate grafic. Pentru a face acest lucru, vom construi un dot plot în funcție de datele observaționale (x i , y i , i=1;n) într-un sistem de coordonate dreptunghiular (un astfel de dot plot se numește câmp de corelație). Să încercăm să găsim o linie dreaptă care este cea mai apropiată de punctele câmpului de corelație. Conform metodei celor mai mici pătrate, linia este aleasă astfel încât suma distanțelor verticale pătrate dintre punctele câmpului de corelație și această dreaptă să fie minimă.

Notarea matematică a acestei probleme: .
Valorile lui y i și x i =1...n ne sunt cunoscute, acestea sunt date de observație. În funcția S sunt constante. Variabilele din această funcție sunt estimările necesare ale parametrilor - , . Pentru a găsi minimul unei funcții de 2 variabile, este necesar să se calculeze derivatele parțiale ale acestei funcții față de fiecare dintre parametri și să le echivaleze cu zero, i.e. .
Ca rezultat, obținem un sistem de 2 ecuații liniare normale:
Rezolvând acest sistem, găsim estimările parametrilor necesari:

Corectitudinea calculului parametrilor ecuației de regresie poate fi verificată prin compararea sumelor (este posibilă o anumită discrepanță datorită rotunjirii calculelor).
Pentru a calcula estimările parametrilor, puteți construi Tabelul 1.
Semnul coeficientului de regresie b indică direcția relației (dacă b > 0, relația este directă, dacă b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
În mod formal, valoarea parametrului a este valoarea medie a lui y pentru x egal cu zero. Dacă factorul de semn nu are și nu poate avea o valoare zero, atunci interpretarea de mai sus a parametrului a nu are sens.

Evaluarea strângerii relației dintre trăsături se realizează utilizând coeficientul de corelație liniară pereche - r x,y . Poate fi calculat folosind formula: . În plus, coeficientul de corelație liniară a perechii poate fi determinat în funcție de coeficientul de regresie b: .
Intervalul valorilor admisibile ale coeficientului liniar al corelației perechilor este de la –1 la +1. Semnul coeficientului de corelație indică direcția relației. Dacă r x, y >0, atunci conexiunea este directă; dacă r x, y<0, то связь обратная.
Dacă acest coeficient este aproape de unitate în modul, atunci relația dintre caracteristici poate fi interpretată ca una liniară destul de apropiată. Dacă modulul său este egal cu un ê r x , y ê =1, atunci relația dintre caracteristici este liniară funcțională. Dacă caracteristicile x și y sunt liniar independente, atunci r x,y este aproape de 0.
Tabelul 1 poate fi folosit și pentru a calcula r x,y.

Pentru a evalua calitatea ecuației de regresie rezultată, se calculează coeficientul teoretic de determinare - R 2 yx:

,
unde d 2 este varianța y explicată prin ecuația de regresie;
e 2 - varianța reziduală (neexplicată prin ecuația de regresie) y ;
s 2 y - variația totală (totală) y .
Coeficientul de determinare caracterizează proporția de variație (dispersie) a caracteristicii rezultate y, explicată prin regresie (și, în consecință, factorul x), în variația totală (dispersia) y. Coeficientul de determinare R 2 yx ia valori de la 0 la 1. În consecință, valoarea 1-R 2 yx caracterizează proporția de varianță y cauzată de influența altor factori neluați în considerare în erorile de model și de specificație.
Cu regresie liniară pereche R 2 yx =r 2 yx .

Metoda celor mai mici pătrate

Metoda celor mai mici pătrate ( MNK, OLS, Cele mai mici pătrate ordinare) - una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie din datele eșantionului. Metoda se bazează pe minimizarea sumei pătratelor reziduurilor de regresie.

Trebuie remarcat faptul că metoda celor mai mici pătrate în sine poate fi numită metodă de rezolvare a unei probleme în orice domeniu dacă soluția constă din sau satisface un anumit criteriu de minimizare a sumei pătratelor unor funcții ale variabilelor necunoscute. Prin urmare, metoda celor mai mici pătrate poate fi folosită și pentru o reprezentare aproximativă (aproximare) a unei anumite funcții prin alte funcții (mai simple), atunci când se găsesc o mulțime de mărimi care satisfac ecuații sau restricții, al căror număr depășește numărul acestor mărimi. , etc.

Esența MNC

Să fie un model (parametric) de dependență probabilistică (regresie) între variabila (explicată). yși mulți factori (variabile explicative) X

unde este vectorul parametrilor necunoscuți ai modelului

Să existe și eșantion de observații ale valorilor variabilelor indicate. Fie numărul de observație (). Apoi sunt valorile variabilelor din a-a observație. Apoi, pentru valorile date ale parametrilor b, este posibil să se calculeze valorile teoretice (modelului) ale variabilei explicate y:

Valoarea reziduurilor depinde de valorile parametrilor b.

Esența LSM (obișnuită, clasică) este de a găsi astfel de parametri b pentru care suma pătratelor reziduurilor (ing. Suma reziduală a pătratelor) va fi minimă:

În cazul general, această problemă poate fi rezolvată prin metode numerice de optimizare (minimizare). În acest caz, se vorbește despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză. Cele mai mici pătrate neliniare). În multe cazuri, se poate obține o soluție analitică. Pentru a rezolva problema de minimizare, este necesar să se găsească punctele staționare ale funcției prin diferențierea acesteia față de parametrii necunoscuți b, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat:

Dacă erorile aleatoare ale modelului sunt distribuite în mod normal, au aceeași varianță și nu sunt corelate între ele, estimările parametrilor celor mai mici pătrate sunt aceleași cu estimările metodei de probabilitate maximă (MLM).

LSM în cazul unui model liniar

Fie dependența de regresie liniară:

Lăsa y- vector coloană de observații a variabilei explicate și - matrice de observații factori (rânduri ale matricei - vectori de valori ale factorilor într-o observație dată, prin coloane - vector de valori ale unui anumit factor în toate observațiile). Reprezentarea matricială a modelului liniar are forma:

Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egale cu

în consecință, suma pătratelor reziduurilor de regresie va fi egală cu

Diferențiând această funcție în raport cu vectorul parametru și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice):

Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru modelul liniar:

În scopuri analitice, ultima reprezentare a acestei formule se dovedește a fi utilă. Dacă datele din modelul de regresie centrat, atunci în această reprezentare prima matrice are semnificația matricei de covarianță eșantion de factori, iar a doua este vectorul de covarianțe de factori cu variabilă dependentă. Dacă, în plus, datele sunt de asemenea normalizat la SKO (adică în cele din urmă standardizate), atunci prima matrice are semnificația matricei de corelație a eșantionului de factori, al doilea vector - vectorul de corelații a eșantionului de factori cu variabila dependentă.

O proprietate importantă a estimărilor LLS pentru modele cu o constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este îndeplinită:

În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a unui singur parametru (constanta însăși) este egală cu valoarea medie a variabilei care se explică. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul pentru suma minimă a abaterilor pătrate de la aceasta.

Exemplu: regresie simplă (în perechi).

În cazul regresiei liniare perechi, formulele de calcul sunt simplificate (puteți face fără algebra matriceală):

Proprietățile estimărilor MOL

În primul rând, observăm că pentru modelele liniare, estimările celor mai mici pătrate sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare condiționată de factori trebuie să fie egală cu zero. Această condiție este îndeplinită, în special, dacă

1. așteptarea matematică a erorilor aleatoare este zero și
2. factorii și erorile aleatoare sunt variabile aleatoare independente.

A doua condiție – condiția factorilor exogeni – este fundamentală. Dacă această proprietate nu este satisfăcută, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consistente (adică chiar și o cantitate foarte mare de date nu permite obținerea de estimări calitative în acest caz). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că condiția exogenă este îndeplinită. În cazul general, pentru consistența estimărilor, este suficient să se îndeplinească condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară cu o creștere a dimensiunii eșantionului la infinit.

Pentru ca, pe lângă consecvență și imparțialitate, estimările (obișnuite) ale celor mai mici pătrate să fie și eficiente (cele mai bune din clasa estimărilor liniare imparțiale), trebuie îndeplinite proprietăți suplimentare ale unei erori aleatorii:

Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie

Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză, abrevierea este uneori folosită albastru (Cel mai bun estimator liniar nebazat) este cea mai bună estimare liniară imparțială; în literatura internă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului de estimare a coeficienților va fi egală cu:

Cele mai mici pătrate generalizate

Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitivă a vectorului rezidual, unde este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate obișnuite este un caz special al acestei abordări, când matricea de ponderi este proporțională cu matricea de identitate. După cum se știe din teoria matricelor simetrice (sau operatorilor), există o descompunere pentru astfel de matrici. Prin urmare, funcționalitatea specificată poate fi reprezentată astfel, adică această funcțională poate fi reprezentată ca suma pătratelor unor „reziduuri” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - LS-methods (Least Squares).

Se dovedește (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt estimările așa-numitelor. MOL generalizat (OMNK, GLS - Cele mai mici pătrate generalizate)- LS-metoda cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: .

Se poate arăta că formula pentru estimările GLS ale parametrilor modelului liniar are forma

Matricea de covarianță a acestor estimări, respectiv, va fi egală cu

De fapt, esența MCO constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea celor mai mici pătrate uzuale la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.

Cele mai mici pătrate ponderate

În cazul unei matrice de ponderi diagonale (și, prin urmare, matricea de covarianță a erorilor aleatoare), avem așa-numitele cele mai mici pătrate ponderate (WLS - Weighted Least Squares). În acest caz, suma ponderată a pătratelor a reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” invers proporțională cu varianța erorii aleatoare din această observație: . De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard presupusă a erorilor aleatoare), iar datelor ponderate se aplică cele mai mici pătrate normale.

Câteva cazuri speciale de aplicare a LSM în practică

Aproximație liniară

Luați în considerare cazul când, ca urmare a studierii dependenței unei anumite mărimi scalare de o anumită mărime scalară (Acesta poate fi, de exemplu, dependența tensiunii de puterea curentului: , unde este o valoare constantă, rezistența conductorului ), au fost măsurate aceste cantități, în urma cărora s-au obținut valorile și valorile corespunzătoare. Datele de măsurare trebuie înregistrate într-un tabel.

Masa. Rezultatele măsurătorilor.

Întrebarea sună astfel: ce valoare a coeficientului poate fi aleasă pentru a descrie cel mai bine dependența? Conform celor mai mici pătrate, această valoare ar trebui să fie astfel încât suma abaterilor pătrate ale valorilor de la valori

a fost minimă

Suma abaterilor pătrate are un extremum - un minim, ceea ce ne permite să folosim această formulă. Să aflăm valoarea coeficientului din această formulă. Pentru a face acest lucru, îi transformăm partea stângă după cum urmează:

Ultima formulă ne permite să găsim valoarea coeficientului , care a fost cerută în problemă.

Poveste

Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci s-au folosit metode deosebite, în funcție de tipul ecuațiilor și de ingeniozitatea calculatoarelor și, prin urmare, calculatoare diferite, pornind de la aceleași date observaționale, au ajuns la concluzii diferite. Gauss (1795) este creditat cu prima aplicare a metodei, iar Legendre (1805) a descoperit-o și publicat-o independent sub numele său modern (fr. Methode des moindres quarres ). Laplace a legat metoda de teoria probabilității, iar matematicianul american Adrain (1808) a considerat aplicațiile probabilistice ale acesteia. Metoda este răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.

Utilizarea alternativă a CMN-urilor

Ideea metodei celor mai mici pătrate poate fi folosită și în alte cazuri care nu au legătură directă cu analiza de regresie. Faptul este că suma pătratelor este una dintre cele mai comune măsuri de proximitate pentru vectori (metrica euclidiană în spații cu dimensiuni finite).

O aplicație este „rezolvarea” sistemelor de ecuații liniare în care numărul de ecuații este mai mare decât numărul de variabile

unde matricea nu este pătrată, ci dreptunghiulară.

Un astfel de sistem de ecuații, în cazul general, nu are soluție (dacă rangul este de fapt mai mare decât numărul de variabile). Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și . Pentru a face acest lucru, puteți aplica criteriul de minimizare a sumei diferențelor pătrate ale părților din stânga și din dreapta ecuațiilor sistemului, adică . Este ușor de arătat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații