Metoda najmanjih kvadrata je izgrađena na osnovu uslova. Gdje se primjenjuje metoda najmanjih kvadrata?

Metoda najmanjih kvadrata jedna je od najčešćih i najrazvijenijih zbog svoje jednostavnost i efikasnost metoda za procjenu parametara linearnih. Istovremeno, pri korištenju treba biti oprezan, budući da modeli izgrađeni pomoću njega možda ne ispunjavaju niz zahtjeva za kvalitetom svojih parametara i kao rezultat toga ne odražavaju "dobro" obrasce razvoja procesa.

Razmotrimo detaljnije postupak za procjenu parametara linearnog ekonometrijskog modela metodom najmanjih kvadrata. Takav model u opštem obliku može se predstaviti jednadžbom (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

Početni podaci pri procjeni parametara a 0 , a 1 ,..., a n je vektor vrijednosti zavisne varijable y= (y 1 , y 2 , ... , y T)" i matrica vrijednosti nezavisnih varijabli

u kojoj prvi stupac, koji se sastoji od jedinica, odgovara koeficijentu modela .

Metoda najmanjih kvadrata dobila je naziv na osnovu osnovnog principa da procjene parametara dobijene na njenoj osnovi moraju zadovoljiti: zbir kvadrata greške modela treba biti minimalan.

Primjeri rješavanja zadataka metodom najmanjih kvadrata

Primjer 2.1. Trgovačko preduzeće ima mrežu koja se sastoji od 12 prodavnica, informacije o aktivnostima koje su prikazane u tabeli. 2.1.

Menadžment kompanije želi da zna kako veličina godišnjeg zavisi od prodajnog prostora prodavnice.

Tabela 2.1

Rješenje najmanjih kvadrata. Označimo - godišnji promet -te prodavnice, milion rubalja; - prodajna površina -tog lokala, hiljada m 2.

Sl.2.1. Dijagram raspršenosti za primjer 2.1

Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.1).

Na osnovu dijagrama raspršenosti možemo zaključiti da godišnji promet pozitivno zavisi od prodajnog područja (tj. y će rasti s rastom od ). Najprikladniji oblik funkcionalne veze je − linearno.

Informacije za dalje proračune prikazane su u tabeli. 2.2. Koristeći metodu najmanjih kvadrata, procjenjujemo parametre linearnog jednofaktorskog ekonometrijskog modela

Tabela 2.2

dakle,

Dakle, sa povećanjem trgovačke površine za 1 hiljadu m 2, pod jednakim uslovima, prosječni godišnji promet raste za 67,8871 miliona rubalja.

Primjer 2.2. Menadžment preduzeća je primetio da godišnji promet zavisi ne samo od prodajnog prostora prodavnice (vidi primer 2.1), već i od prosečnog broja posetilaca. Relevantne informacije su prikazane u tabeli. 2.3.

Tabela 2.3

Rješenje. Označiti - prosječan broj posjetilaca u prodavnici dnevno, hiljada ljudi.

Odrediti oblik funkcionalnog odnosa između varijabli i konstruirati dijagram raspršenja (slika 2.2).

Na osnovu dijagrama raspršenosti možemo zaključiti da je godišnji promet pozitivno povezan sa prosječnim brojem posjetitelja dnevno (tj. y će rasti s rastom od ). Oblik funkcionalne zavisnosti je linearan.

Rice. 2.2. Dijagram raspršenosti na primjer 2.2

Tabela 2.4

Općenito, potrebno je odrediti parametre dvofaktorskog ekonometrijskog modela

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informacije potrebne za dalje proračune prikazane su u tabeli. 2.4.

Procijenimo parametre linearnog dvofaktorskog ekonometrijskog modela koristeći metodu najmanjih kvadrata.

dakle,

Procjena koeficijenta = 61,6583 pokazuje da će, uz ostale jednake stvari, povećanjem trgovačke površine za 1 hiljadu m 2, godišnji promet porasti u prosjeku za 61,6583 miliona rubalja.

Funkciju aproksimiramo polinomom 2. stepena. Da bismo to učinili, izračunavamo koeficijente normalnog sistema jednadžbi:

, ,

Sastavimo normalan sistem najmanjih kvadrata, koji ima oblik:

Rješenje sistema je lako pronaći:, , .

Tako se nalazi polinom 2. stepena: .

Teorijska pozadina

Povratak na stranicu<Введение в вычислительную математику. Примеры>

Primjer 2. Pronalaženje optimalnog stepena polinoma.

Povratak na stranicu<Введение в вычислительную математику. Примеры>

Primjer 3. Izvođenje normalnog sistema jednadžbi za nalaženje parametara empirijske zavisnosti.

Izvedemo sistem jednačina za određivanje koeficijenata i funkcija , koji izvodi aproksimaciju srednjeg kvadrata date funkcije u odnosu na tačke. Sastavite funkciju i napiši za to neophodan ekstremni uslov:

Tada će normalan sistem poprimiti oblik:

Dobili smo linearni sistem jednadžbi za nepoznate parametre i koji se lako rješava.

Teorijska pozadina

Povratak na stranicu<Введение в вычислительную математику. Примеры>

Primjer.

Eksperimentalni podaci o vrijednostima varijabli X I at date su u tabeli.

Kao rezultat njihovog usklađivanja, funkcija

Koristeći metoda najmanjeg kvadrata, aproksimira ove podatke linearnom zavisnošću y=ax+b(pronađi opcije A I b). Saznajte koja od dvije linije je bolja (u smislu metode najmanjih kvadrata) poravnava eksperimentalne podatke. Napravite crtež.

Suština metode najmanjih kvadrata (LSM).

Problem je pronaći koeficijente linearne zavisnosti za koje je funkcija dvije varijable A I buzima najmanju vrijednost. Odnosno, s obzirom na podatke A I b zbir kvadrata odstupanja eksperimentalnih podataka od pronađene prave će biti najmanji. Ovo je cijela poenta metode najmanjih kvadrata.

Dakle, rješenje primjera se svodi na pronalaženje ekstrema funkcije dvije varijable.

Izvođenje formula za pronalaženje koeficijenata.

Sastavlja se i rješava sistem dvije jednačine sa dvije nepoznate. Pronalaženje parcijalnih izvoda funkcija po varijablama A I b, izjednačavamo ove izvode sa nulom.

Rezultirajući sistem jednačina rješavamo bilo kojom metodom (npr metoda zamjene ili Cramerovu metodu) i dobiju formule za pronalaženje koeficijenata koristeći metodu najmanjih kvadrata (LSM).

Sa podacima A I b funkcija uzima najmanju vrijednost. Dokaz za ovu činjenicu dat je u tekstu na kraju stranice.

To je cijela metoda najmanjih kvadrata. Formula za pronalaženje parametra a sadrži sume , , , i parametar n je količina eksperimentalnih podataka. Vrijednosti ovih suma se preporučuje da se izračunaju zasebno.

Koeficijent b pronađeno nakon izračuna a.

Vrijeme je da se prisjetimo originalnog primjera.

Rješenje.

U našem primjeru n=5. Popunjavamo tablicu radi praktičnosti izračunavanja iznosa koji su uključeni u formule potrebnih koeficijenata.

Vrijednosti u četvrtom redu tabele dobijaju se množenjem vrijednosti 2. retka sa vrijednostima 3. reda za svaki broj i.

Vrijednosti u petom redu tabele dobijaju se kvadriranjem vrijednosti 2. reda za svaki broj i.

Vrijednosti posljednje kolone tabele su zbroji vrijednosti u redovima.

Za pronalaženje koeficijenata koristimo formule metode najmanjih kvadrata A I b. U njih zamjenjujemo odgovarajuće vrijednosti iz posljednje kolone tabele:

dakle, y=0,165x+2,184 je željena aproksimirajuća ravna linija.

Ostaje da saznamo koja od linija y=0,165x+2,184 ili bolje aproksimira originalne podatke, tj. da procjenu metodom najmanjih kvadrata.

Procjena greške metode najmanjih kvadrata.

Da biste to učinili, morate izračunati sume kvadrata odstupanja originalnih podataka od ovih linija I , manja vrijednost odgovara liniji koja bolje aproksimira originalne podatke u smislu metode najmanjih kvadrata.

Od , onda linija y=0,165x+2,184 bolje aproksimira originalne podatke.

Grafička ilustracija metode najmanjih kvadrata (LSM).

Sve izgleda odlično na grafikonima. Crvena linija je pronađena linija y=0,165x+2,184, plava linija je , ružičaste tačke su originalni podaci.

Čemu služi, čemu sve ove aproksimacije?

Ja lično koristim za rješavanje problema izglađivanja podataka, problema interpolacije i ekstrapolacije (u originalnom primjeru od vas bi se moglo tražiti da pronađete vrijednost uočene vrijednosti y at x=3 ili kada x=6 prema MNC metodi). Ali o tome ćemo više govoriti kasnije u drugom dijelu stranice.

Vrh stranice

Dokaz.

Tako da kada se nađe A I b funkcija uzima najmanju vrijednost, potrebno je da se u ovom trenutku matrica kvadratnog oblika diferencijala drugog reda za funkciju bilo pozitivno određeno. Hajde da to pokažemo.

Diferencijal drugog reda ima oblik:

To je

Prema tome, matrica kvadratnog oblika ima oblik

a vrijednosti elemenata ne ovise o A I b.

Pokažimo da je matrica pozitivno određena. Ovo zahtijeva da manji kutovi budu pozitivni.

Ugaoni minor prvog reda . Nejednakost je stroga, jer se tačke ne poklapaju. Ovo će se podrazumijevati u onome što slijedi.

Ugaoni minor drugog reda

Dokažimo to metoda matematičke indukcije.

Zaključak: pronađene vrijednosti A I b odgovaraju najmanjoj vrijednosti funkcije , dakle, su željeni parametri za metodu najmanjih kvadrata.

Jeste li ikada razumjeli?
Naručite rješenje

Vrh stranice

Izrada prognoze metodom najmanjih kvadrata. Primjer rješenja problema

Ekstrapolacija - ovo je metod naučnog istraživanja, koji se zasniva na diseminaciji prošlih i sadašnjih trendova, obrazaca, odnosa prema budućem razvoju objekta predviđanja. Metode ekstrapolacije uključuju metoda pokretnog prosjeka, metoda eksponencijalnog izglađivanja, metoda najmanjih kvadrata.

Essence metoda najmanjih kvadrata sastoji se u minimiziranju zbira kvadrata odstupanja između posmatranih i izračunatih vrednosti. Izračunate vrijednosti se nalaze prema odabranoj jednadžbi - jednadžbi regresije. Što je manja udaljenost između stvarnih vrijednosti i izračunatih, to je preciznija prognoza zasnovana na jednadžbi regresije.

Teorijska analiza suštine fenomena koji se proučava, čija se promjena prikazuje vremenskim nizom, služi kao osnova za odabir krive. Razmatranja o prirodi rasta nivoa serije se ponekad uzimaju u obzir. Dakle, ako se rast proizvodnje očekuje u aritmetičkoj progresiji, onda se izravnavanje vrši pravolinijski. Ako se ispostavi da je rast eksponencijalan, onda treba izvršiti izravnavanje prema eksponencijalnoj funkciji.

Radna formula metode najmanjih kvadrata : Y t+1 = a*X + b, gdje je t + 1 period prognoze; Ut+1 – predviđeni indikator; a i b su koeficijenti; X je simbol vremena.

Koeficijenti a i b se izračunavaju prema sljedećim formulama:

gdje je, Uf - stvarne vrijednosti serije dinamike; n je broj nivoa u vremenskoj seriji;

Izglađivanje vremenskih serija metodom najmanjih kvadrata služi za odraz obrazaca razvoja fenomena koji se proučava. U analitičkom izrazu trenda, vrijeme se smatra nezavisnom varijablom, a nivoi serije djeluju kao funkcija ove nezavisne varijable.

Razvoj neke pojave ne zavisi od toga koliko je godina prošlo od početne tačke, već od toga koji su faktori uticali na njen razvoj, u kom pravcu i kojim intenzitetom. Iz ovoga je jasno da se razvoj neke pojave u vremenu javlja kao rezultat djelovanja ovih faktora.

Ispravno postavljanje tipa krivulje, tipa analitičke zavisnosti od vremena jedan je od najtežih zadataka pre-prediktivne analize. .

Odabir vrste funkcije koja opisuje trend, čiji se parametri određuju metodom najmanjih kvadrata, u većini slučajeva je empirijski, konstruiranjem većeg broja funkcija i međusobnom uspoređivanjem po vrijednosti srednje vrijednosti korijena. -kvadrat greške izračunate po formuli:

gdje je Uf - stvarne vrijednosti serije dinamike; Ur – izračunate (izglađene) vrijednosti vremenske serije; n je broj nivoa u vremenskoj seriji; p je broj parametara definisanih u formulama koje opisuju trend (trend razvoja).

Nedostaci metode najmanjih kvadrata :

• kada pokušavate da opišete ekonomski fenomen koji se proučava pomoću matematičke jednačine, prognoza će biti tačna za kratak vremenski period i regresionu jednačinu treba ponovo izračunati kako nove informacije postanu dostupne;
• složenost odabira jednadžbe regresije, koja je rješiva ​​standardnim kompjuterskim programima.

Primjer korištenja metode najmanjih kvadrata za razvoj prognoze

Zadatak . Postoje podaci koji karakterišu nivo nezaposlenosti u regionu, %

• Izgradite prognozu stope nezaposlenosti u regionu za mjesece novembar, decembar, januar koristeći metode: pokretni prosjek, eksponencijalno izravnavanje, najmanji kvadrati.
• Izračunajte greške u rezultirajućim prognozama koristeći svaku metodu.
• Uporedite dobijene rezultate, izvucite zaključke.

Rješenje najmanjih kvadrata

Za rješenje ćemo sastaviti tabelu u kojoj ćemo napraviti potrebne proračune:

ε = 28,63/10 = 2,86% tačnost prognoze visoko.

Zaključak : Upoređivanje rezultata dobijenih u proračunima metoda pokretnog prosjeka , eksponencijalno izglađivanje i metodom najmanjih kvadrata, možemo reći da je prosječna relativna greška u proračunima metodom eksponencijalnog izglađivanja unutar 20-50%. To znači da je tačnost predviđanja u ovom slučaju samo zadovoljavajuća.

U prvom i trećem slučaju tačnost prognoze je visoka, jer je prosječna relativna greška manja od 10%. Ali metoda pokretnog proseka omogućila je dobijanje pouzdanijih rezultata (prognoza za novembar - 1,52%, prognoza za decembar - 1,53%, prognoza za januar - 1,49%), pošto je prosečna relativna greška pri upotrebi ove metode najmanja - 1 ,13%.

Metoda najmanjeg kvadrata

Ostali srodni članci:

Spisak korištenih izvora

1. Naučno-metodološke preporuke o pitanjima dijagnosticiranja društvenih rizika i predviđanja izazova, prijetnji i društvenih posljedica. Ruski državni socijalni univerzitet. Moskva. 2010;
2. Vladimirova L.P. Predviđanje i planiranje u tržišnim uslovima: Proc. dodatak. M.: Izdavačka kuća "Daškov i Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Predviđanje nacionalne privrede: Obrazovno-metodološki vodič. Jekaterinburg: Izdavačka kuća Ural. stanje ekonomija univerzitet, 2007;
4. Slutskin L.N. MBA kurs poslovnog predviđanja. Moskva: Alpina Business Books, 2006.

Program CG

Unesite podatke

Podaci i aproksimacija y = a + b x

i- broj eksperimentalne tačke;
x i- vrijednost fiksnog parametra u tački i;
y i- vrijednost mjerenog parametra u tački i;
ω i- mjerenje težine u tački i;
y i, izrač.- razlika između izmjerene vrijednosti i vrijednosti izračunate iz regresije y u tački i;
S x i (x i)- procjena greške x i prilikom merenja y u tački i.

Podaci i aproksimacija y = kx

Kliknite na grafikon

Korisnički priručnik za MNC online program.

U polje podataka unesite u svaki poseban red vrijednosti `x` i `y` u jednoj eksperimentalnoj točki. Vrijednosti moraju biti odvojene razmakom (razmak ili tab).

Treća vrijednost može biti težina točke `w`. Ako težina tačke nije navedena, onda je jednaka jedan. U ogromnoj većini slučajeva, težine eksperimentalnih tačaka su nepoznate ili nisu izračunate; svi eksperimentalni podaci se smatraju ekvivalentnim. Ponekad težine u proučavanom rasponu vrijednosti definitivno nisu ekvivalentne i mogu se čak i teoretski izračunati. Na primjer, u spektrofotometriji, težine se mogu izračunati pomoću jednostavnih formula, iako u osnovi svi to zanemaruju kako bi smanjili troškove rada.

Podaci se mogu zalijepiti kroz međuspremnik iz proračunske tablice uredskog paketa, kao što je Excel iz Microsoft Officea ili Calc iz Open Officea. Da biste to učinili, u proračunskoj tabeli odaberite opseg podataka za kopiranje, kopirajte u međuspremnik i zalijepite podatke u polje podataka na ovoj stranici.

Za izračunavanje metodom najmanjih kvadrata potrebne su najmanje dvije točke za određivanje dva koeficijenta `b` - tangenta ugla nagiba prave linije i `a` - vrijednosti odsječene pravom linijom na `y ` os.

Za procjenu greške izračunatih koeficijenata regresije potrebno je postaviti broj eksperimentalnih tačaka na više od dvije.

Metoda najmanjih kvadrata (LSM).

Što je veći broj eksperimentalnih tačaka, to je tačnija statistička procjena koeficijenata (zbog smanjenja Studentovog koeficijenta) i to je procjena bliža procjeni opšteg uzorka.

Dobivanje vrijednosti u svakoj eksperimentalnoj točki često je povezano sa značajnim troškovima rada, stoga se često provodi kompromisni broj eksperimenata, što daje probavljivu procjenu i ne dovodi do pretjeranih troškova rada. Po pravilu, broj eksperimentalnih tačaka za linearnu zavisnost najmanjih kvadrata sa dva koeficijenta bira se u području od 5-7 tačaka.

Kratka teorija najmanjih kvadrata za linearnu zavisnost

Pretpostavimo da imamo skup eksperimentalnih podataka u obliku parova vrijednosti [`y_i`, `x_i`], gdje je `i` broj jednog eksperimentalnog mjerenja od 1 do `n`; `y_i` - vrijednost izmjerene vrijednosti u tački `i`; `x_i` - vrijednost parametra koji smo postavili u tački `i`.

Primjer je djelovanje Ohmovog zakona. Promjenom napona (razlike potencijala) između dijelova električnog kola mjerimo količinu struje koja prolazi kroz ovu dionicu. Fizika nam daje zavisnost pronađenu eksperimentalno:

`I=U/R`,
gdje je `I` - jačina struje; `R` - otpor; `U` - napon.

U ovom slučaju, `y_i` je izmjerena vrijednost struje, a `x_i` je vrijednost napona.

Kao drugi primjer, razmotrite apsorpciju svjetlosti otopinom tvari u otopini. Hemija nam daje formulu:

`A = εl C`,
gdje je `A` optička gustoća otopine; `ε` - propusnost otopljene tvari; `l` - dužina puta kada svjetlost prolazi kroz kivetu s otopinom; `C` je koncentracija otopljene tvari.

U ovom slučaju, `y_i` je izmjerena optička gustoća `A`, a `x_i` je koncentracija supstance koju smo postavili.

Razmotrit ćemo slučaj kada je relativna greška u postavljanju `x_i` mnogo manja od relativne greške u mjerenju `y_i`. Također ćemo pretpostaviti da su sve izmjerene vrijednosti `y_i` slučajne i normalno raspoređene, tj. pridržavati se normalnog zakona distribucije.

U slučaju linearne zavisnosti `y` od `x`, možemo napisati teorijsku zavisnost:
`y = a + bx`.

Sa geometrijske tačke gledišta, koeficijent `b` označava tangentu ugla nagiba linije prema `x` osi, a koeficijent `a` - vrijednost `y` u tački presjeka linije linija sa `y` osom (za `x = 0`).

Pronalaženje parametara linije regresije.

U eksperimentu, izmjerene vrijednosti `y_i` ne mogu ležati tačno na teorijskoj liniji zbog grešaka mjerenja, koje su uvijek svojstvene stvarnom životu. Prema tome, linearna jednačina mora biti predstavljena sistemom jednačina:
`y_i = a + b x_i + ε_i` (1),
gdje je `ε_i` nepoznata greška mjerenja `y` u `i` eksperimentu.

Zavisnost (1) se također naziva regresija, tj. zavisnost dve veličine jedna od druge sa statističkom značajnošću.

Zadatak obnavljanja zavisnosti je da se pronađu koeficijenti `a` i `b` iz eksperimentalnih tačaka [`y_i`, `x_i`].

Za pronalaženje koeficijenata obično se koriste `a` i `b` metoda najmanjeg kvadrata(MNK). To je poseban slučaj principa maksimalne vjerovatnoće.

Zapišimo (1) kao `ε_i = y_i - a - b x_i`.

Tada će zbir grešaka na kvadrat biti
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Princip metode najmanjih kvadrata je minimiziranje sume (2) u odnosu na parametre `a` i `b`.

Minimum se postiže kada su parcijalni derivati ​​zbira (2) u odnosu na koeficijente `a` i `b` jednaki nuli:
`frac(parcijalni Φ)(djelomični a) = frac(djelomični zbir_(i=1)^(n) (y_i - a - b x_i)^2)(djelomični a) = 0`
`frac(parcijalni Φ)(djelomični b) = frac(djelomični zbir_(i=1)^(n) (y_i - a - b x_i)^2)(djelomični b) = 0`

Proširujući derivacije, dobijamo sistem od dve jednačine sa dve nepoznanice:
`suma_(i=1)^(n) (2a + 2bx_i - 2y_i) = suma_(i=1)^(n) (a + bx_i - y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Otvaramo zagrade i prenosimo sume nezavisne od željenih koeficijenata na drugu polovinu, dobijamo sistem linearnih jednadžbi:
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a zbroj_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`

Rješavajući rezultirajući sistem, nalazimo formule za koeficijente `a` i `b`:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (suma_(i=1)^(n) x_i)^2)` (3.2)

Ove formule imaju rješenja kada je `n > 1` (prava se može nacrtati koristeći najmanje 2 tačke) i kada je determinanta `D = n suma_(i=1)^(n) x_i^2 — (suma_(i= 1 )^(n) x_i)^2 != 0`, tj. kada su tačke `x_i` u eksperimentu različite (tj. kada linija nije okomita).

Procjena grešaka u koeficijentima regresione linije

Za precizniju procjenu greške u izračunavanju koeficijenata `a` i `b`, poželjan je veliki broj eksperimentalnih tačaka. Kada je `n = 2`, nemoguće je procijeniti grešku koeficijenata, jer aproksimirajuća prava će jednoznačno prolaziti kroz dvije tačke.

Određuje se greška slučajne varijable `V` zakon akumulacije grešaka
`S_V^2 = suma_(i=1)^p (frac(parcijalni f)(djelomični z_i))^2 S_(z_i)^2`,
gdje je `p` broj parametara `z_i` sa greškom `S_(z_i)` koji utiču na grešku `S_V`;
`f` je funkcija zavisnosti `V` od `z_i`.

Napišimo zakon akumulacije grešaka za grešku koeficijenata `a` i `b`
`S_a^2 = suma_(i=1)^(n)(frac(parcijalni a)(djelomični y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(djelomični a )(parcijalni x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(djelomični a)(djelomični y_i))^2 `,
`S_b^2 = suma_(i=1)^(n)(frac(parcijalni b)(djelomični y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(djelomični b )(parcijalni x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(djelomični b)(djelomični y_i))^2 `,
jer `S_(x_i)^2 = 0` (prethodno smo rezervisali da je greška `x` zanemarljiva).

`S_y^2 = S_(y_i)^2` - greška (varijansa, kvadrat standardne devijacije) u dimenziji `y`, pod pretpostavkom da je greška uniformna za sve vrijednosti `y`.

Zamjenom formula za izračunavanje `a` i `b` u rezultirajuće izraze, dobijamo

`S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 - x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n suma_(i=1)^(n) x_i^2 - (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

U većini stvarnih eksperimenata, vrijednost `Sy` se ne mjeri. Da biste to učinili, potrebno je provesti nekoliko paralelnih mjerenja (eksperimenata) na jednoj ili više tačaka plana, što povećava vrijeme (i eventualno cijenu) eksperimenta. Stoga se obično pretpostavlja da se odstupanje `y` od linije regresije može smatrati slučajnim. Procjena varijanse `y` u ovom slučaju se izračunava po formuli.

`S_y^2 = S_(y, odmor)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Delitelj `n-2` se pojavljuje jer smo smanjili broj stupnjeva slobode zbog izračunavanja dva koeficijenta za isti uzorak eksperimentalnih podataka.

Ova procjena se također naziva rezidualna varijansa u odnosu na liniju regresije `S_(y, rest)^2`.

Procjena značajnosti koeficijenata vrši se prema studentskom kriteriju

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ako su izračunati kriterijumi `t_a`, `t_b` manji od kriterijuma tabele `t(P, n-2)`, onda se smatra da se odgovarajući koeficijent ne razlikuje značajno od nule sa datom verovatnoćom `P`.

Da biste ocijenili kvalitetu opisa linearne veze, možete uporediti `S_(y, odmor)^2` i `S_(bar y)` u odnosu na srednju vrijednost koristeći Fisherov kriterij.

`S_(bar y) = frac(suma_(i=1)^n (y_i - bar y)^2) (n-1) = frac(suma_(i=1)^n (y_i - (suma_(i= 1)^n y_i) /n)^2) (n-1)` - procjena uzorka varijanse `y` u odnosu na srednju vrijednost.

Za procjenu efikasnosti regresione jednadžbe za opisivanje zavisnosti izračunava se Fisherov koeficijent
`F = S_(bar y) / S_(y, odmor)^2`,
koji se poredi sa tabelarnim Fisherovim koeficijentom `F(p, n-1, n-2)`.

Ako je `F > F(P, n-1, n-2)`, razlika između opisa zavisnosti `y = f(x)` pomoću regresione jednadžbe i opisa pomoću srednje vrijednosti smatra se statistički značajnom s vjerovatnoćom `P`. One. regresija bolje opisuje zavisnost od širenja `y` oko srednje vrednosti.

Kliknite na grafikon
da dodate vrednosti u tabelu

Metoda najmanjeg kvadrata. Metoda najmanjih kvadrata znači određivanje nepoznatih parametara a, b, c, prihvaćene funkcionalne zavisnosti

Metoda najmanjih kvadrata podrazumijeva određivanje nepoznatih parametara a, b, c,… prihvaćena funkcionalna zavisnost

y = f(x,a,b,c,…),

koji bi obezbedio minimum srednjeg kvadrata (varijanse) greške

, (24)

gdje je x i , y i - skup parova brojeva dobijenih iz eksperimenta.

Pošto je uslov za ekstremum funkcije nekoliko varijabli uslov da su njeni parcijalni derivati ​​jednaki nuli, tada se parametri a, b, c,… određuju se iz sistema jednačina:

; ; ; … (25)

Mora se imati na umu da se metoda najmanjih kvadrata koristi za odabir parametara nakon oblika funkcije y = f(x) definisano.

Ako je iz teorijskih razmatranja nemoguće izvući zaključke o tome kakva bi empirijska formula trebala biti, onda se treba voditi vizualnim prikazima, prvenstveno grafičkim prikazom posmatranih podataka.

U praksi se najčešće ograničava na sljedeće vrste funkcija:

1) linearni ;

2) kvadratno a .

Odabir tipa regresijske funkcije, tj. tip razmatranog modela zavisnosti Y od X (ili X od Y), na primjer, linearni model y x = a + bx, potrebno je odrediti specifične vrijednosti koeficijenata modela.

Za različite vrijednosti a i b moguće je konstruirati beskonačan broj ovisnosti oblika y x =a+bx, tj. postoji beskonačan broj linija na koordinatnoj ravni, ali nam je potrebna takva ovisnost da na najbolji način odgovara uočenim vrijednostima. Dakle, problem se svodi na izbor najboljih koeficijenata.

Tražimo linearnu funkciju a + bx, samo na osnovu određenog broja dostupnih opservacija. Da bismo pronašli funkciju koja najbolje odgovara promatranim vrijednostima, koristimo metodu najmanjih kvadrata.

Označiti: Y i - vrijednost izračunata jednadžbom Y i =a+bx i . y i - izmjerena vrijednost, ε i =y i -Y i - razlika između izmjerenih i izračunatih vrijednosti, ε i =y i -a-bx i .

Metoda najmanjih kvadrata zahtijeva da ε i , razlika između izmjerenog y i i vrijednosti Y i izračunate iz jednačine, bude minimalna. Stoga nalazimo koeficijente a i b tako da je zbroj kvadrata odstupanja posmatranih vrijednosti od vrijednosti na pravoj regresijskoj liniji najmanji:

Istražujući ovu funkciju argumenata a i uz pomoć izvoda do ekstrema, možemo dokazati da funkcija poprima minimalnu vrijednost ako su koeficijenti a i b rješenja sistema:

(2)

Ako obje strane normalne jednadžbe podijelimo sa n, dobićemo:

S obzirom na to (3)

Get , odavde, zamjenom vrijednosti a u prvoj jednačini, dobijamo:

U ovom slučaju, b se naziva koeficijent regresije; a se naziva slobodnim članom regresijske jednadžbe i izračunava se po formuli:

Rezultirajuća ravna linija je procjena teorijske linije regresije. Imamo:

dakle, je jednadžba linearne regresije.

Regresija može biti direktna (b>0) i inverzna (b Primjer 1. Rezultati mjerenja X i Y vrijednosti su dati u tabeli:

Uz pretpostavku da postoji linearna veza između X i Y y=a+bx, odredite koeficijente a i b koristeći metodu najmanjih kvadrata.

Rješenje. Ovdje je n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y i =0,5+1+1,5+2+3=8

a normalni sistem (2) ima oblik

Rješavajući ovaj sistem dobijamo: b=0,425, a=1,175. Prema tome y=1,175+0,425x.

Primjer 2. Postoji uzorak od 10 opservacija ekonomskih indikatora (X) i (Y).

Potrebno je pronaći jednadžbu uzorka regresije Y na X. Konstruirati liniju uzorka regresije Y na X.

Rješenje. 1. Razvrstajmo podatke po vrijednostima x i i y i . Dobijamo novi sto:

Da bismo pojednostavili proračune, sastavit ćemo proračunsku tablicu u koju ćemo unijeti potrebne numeričke vrijednosti.

Prema formuli (4) izračunavamo koeficijent regresije

i po formuli (5)

Dakle, jednadžba regresije uzorka izgleda kao y=-59,34+1,3804x.
Nacrtajmo tačke (x i ; y i) na koordinatnoj ravni i označimo liniju regresije.

Slika 4

Slika 4 pokazuje kako se posmatrane vrednosti nalaze u odnosu na liniju regresije. Za numeričku procjenu odstupanja y i od Y i , gdje su y i uočene vrijednosti, a Y i vrijednosti određene regresijom, napravićemo tabelu:

Y i vrijednosti se izračunavaju prema jednadžbi regresije.

Primjetno odstupanje nekih uočenih vrijednosti od linije regresije objašnjava se malim brojem zapažanja. Prilikom proučavanja stepena linearne zavisnosti Y od X, uzima se u obzir broj posmatranja. Jačina zavisnosti je određena vrijednošću koeficijenta korelacije.

Jedna od metoda za proučavanje stohastičkih odnosa između karakteristika je regresiona analiza.
Regresiona analiza je izvođenje regresione jednadžbe, koja se koristi za pronalaženje prosječne vrijednosti slučajne varijable (feature-result), ako je poznata vrijednost druge (ili druge) varijable (faktori-faktori). Uključuje sljedeće korake:

1. izbor oblika veze (vrsta analitičke regresione jednačine);
2. procjena parametara jednadžbe;
3. evaluacija kvaliteta analitičke regresione jednačine.

Za procjenu parametara najčešće se koristi metoda najmanjih kvadrata (LSM).
Metoda najmanjih kvadrata daje najbolje (dosljedne, efikasne i nepristrasne) procjene parametara regresione jednačine. Ali samo ako su ispunjene određene pretpostavke o slučajnom terminu (u) i nezavisnoj varijabli (x) (vidi OLS pretpostavke).

Problem procjene parametara jednadžbe linearnog para metodom najmanjih kvadrata sastoji se u sljedećem: da se dobiju takve procjene parametara , , kod kojih je zbir kvadrata odstupanja stvarnih vrijednosti efektivne karakteristike - y i od izračunatih vrijednosti - minimalan.
Formalno OLS kriterijum može se napisati ovako: .

Klasifikacija metoda najmanjih kvadrata

1. Metoda najmanjeg kvadrata.
2. Metoda maksimalne vjerovatnoće (za normalan klasični model linearne regresije, postulira se normalnost reziduala regresije).
3. Generalizirana metoda najmanjih kvadrata GLSM-a se koristi u slučaju autokorelacije greške iu slučaju heteroskedastičnosti.
4. Metoda ponderiranih najmanjih kvadrata (poseban slučaj GLSM sa heteroskedastičnim rezidualima).

Ilustrujte suštinu klasična metoda najmanjih kvadrata grafički. Da bismo to uradili, izgradićemo tačku na osnovu podataka posmatranja (x i , y i , i=1;n) u pravougaonom koordinatnom sistemu (takav tačak se naziva korelaciono polje). Pokušajmo pronaći pravu liniju koja je najbliža tačkama korelacionog polja. Prema metodi najmanjih kvadrata, prava se bira tako da zbir kvadrata vertikalnih udaljenosti između tačaka korelacionog polja i ove prave bude minimalan.

Matematička notacija ovog problema: .
Vrijednosti y i i x i =1...n su nam poznate, ovo su podaci opservacije. U funkciji S one su konstante. Varijable u ovoj funkciji su potrebne procjene parametara - , . Da bismo pronašli minimum funkcije od 2 varijable, potrebno je izračunati parcijalne izvode ove funkcije u odnosu na svaki od parametara i izjednačiti ih sa nulom, tj. .
Kao rezultat, dobijamo sistem od 2 normalne linearne jednadžbe:
Rješavajući ovaj sistem, nalazimo potrebne procjene parametara:

Ispravnost proračuna parametara regresione jednačine može se provjeriti upoređivanjem suma (moguća su određena neslaganja zbog zaokruživanja proračuna).
Da biste izračunali procjene parametara, možete napraviti tabelu 1.
Znak koeficijenta regresije b ukazuje na smjer odnosa (ako je b > 0, odnos je direktan, ako je b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Formalno, vrijednost parametra a je prosječna vrijednost y za x jednako nuli. Ako predznak faktor nema i ne može imati nultu vrijednost, onda gornja interpretacija parametra a nema smisla.

Procjena čvrstoće odnosa između karakteristika vrši se korištenjem koeficijenta linearne korelacije parova - r x,y . Može se izračunati pomoću formule: . Osim toga, koeficijent linearne korelacije parova može se odrediti u smislu koeficijenta regresije b: .
Raspon dozvoljenih vrijednosti linearnog koeficijenta korelacije para je od –1 do +1. Znak koeficijenta korelacije ukazuje na smjer odnosa. Ako je r x, y >0, onda je veza direktna; ako je r x, y<0, то связь обратная.
Ako je ovaj koeficijent u modulu blizu jedinice, onda se odnos između karakteristika može tumačiti kao prilično blizak linearni. Ako je njegov modul jednak jednom ê r x , y ê =1, tada je odnos između karakteristika funkcionalno linearan. Ako su karakteristike x i y linearno nezavisne, tada je r x,y blizu 0.
Tabela 1 se također može koristiti za izračunavanje r x,y.

Za procjenu kvaliteta dobijene regresione jednadžbe izračunava se teorijski koeficijent determinacije - R 2 yx:

,
gdje je d 2 varijansa y objašnjena jednadžbom regresije;
e 2 - rezidualna (neobjašnjena jednadžbom regresije) varijansa y ;
s 2 y - ukupna (ukupna) varijansa y .
Koeficijent determinacije karakteriše udio varijacije (disperzije) rezultirajuće karakteristike y, objašnjene regresijom (i, posljedično, faktorom x), u ukupnoj varijaciji (disperziji) y. Koeficijent determinacije R 2 yx ima vrijednosti od 0 do 1. Shodno tome, vrijednost 1-R 2 yx karakterizira udio varijanse y uzrokovane utjecajem drugih faktora koji nisu uzeti u obzir u modelu i greškama u specifikaciji.
Sa uparenom linearnom regresijom R 2 yx =r 2 yx .

Metoda najmanjeg kvadrata

Metoda najmanjeg kvadrata ( MNK, OLS, Obični najmanji kvadrati) - jedna od osnovnih metoda regresione analize za procjenu nepoznatih parametara regresionih modela iz podataka uzorka. Metoda se zasniva na minimiziranju sume kvadrata reziduala regresije.

Treba napomenuti da se sama metoda najmanjih kvadrata može nazvati metodom za rješavanje problema u bilo kojoj oblasti, ako se rješenje sastoji od ili zadovoljava određeni kriterij za minimiziranje sume kvadrata nekih funkcija nepoznatih varijabli. Stoga se metoda najmanjih kvadrata može koristiti i za približnu reprezentaciju (aproksimaciju) date funkcije drugim (jednostavnijim) funkcijama, pri pronalaženju skupa veličina koje zadovoljavaju jednačine ili ograničenja, čiji je broj veći od broja ovih veličina. , itd.

Suština MNK

Neka (parametarski) model vjerovatnoće (regresijske) zavisnosti između (objašnjene) varijable y i mnogi faktori (objašnjavajuće varijable) x

gdje je vektor nepoznatih parametara modela

Neka postoje i uzorci zapažanja vrijednosti naznačenih varijabli. Neka je broj zapažanja (). Zatim su vrijednosti varijabli u -toj opservaciji. Tada je za date vrijednosti parametara b moguće izračunati teorijske (modelske) vrijednosti objašnjene varijable y:

Vrijednost reziduala ovisi o vrijednostima parametara b.

Suština LSM (običnog, klasičnog) je pronaći takve parametre b za koje je zbir kvadrata reziduala (eng. Preostali zbir kvadrata) bit će minimalan:

U opštem slučaju, ovaj problem se može rešiti numeričkim metodama optimizacije (minimizacije). U ovom slučaju se govori o nelinearni najmanji kvadrati(NLS ili NLLS - engleski. Nelinearni najmanji kvadrati). U mnogim slučajevima može se dobiti analitičko rješenje. Da bi se riješio problem minimizacije, potrebno je pronaći stacionarne tačke funkcije diferenciranjem u odnosu na nepoznate parametre b, izjednačavanjem izvoda sa nulom i rješavanjem rezultirajućeg sistema jednadžbi:

Ako su slučajne greške modela normalno raspoređene, imaju istu varijansu i nisu međusobno povezane, procjene parametara najmanjih kvadrata su iste kao procjene metode maksimalne vjerovatnoće (MLM).

LSM u slučaju linearnog modela

Neka je zavisnost regresije linearna:

Neka y- vektor stupaca zapažanja objašnjene varijable i - matrica zapažanja faktora (redovi matrice - vektori faktorskih vrijednosti u datom opažanju, po kolonama - vektor vrijednosti datog faktora u svim opservacijama) . Matrični prikaz linearnog modela ima oblik:

Tada će vektor procjena objašnjene varijable i vektor reziduala regresije biti jednaki

prema tome, zbir kvadrata reziduala regresije će biti jednak

Diferencirajući ovu funkciju u odnosu na vektor parametara i izjednačavajući derivate sa nulom, dobijamo sistem jednačina (u obliku matrice):

Rješenje ovog sistema jednadžbi daje opću formulu za procjene najmanjih kvadrata za linearni model:

Za analitičke svrhe, posljednji prikaz ove formule se pokazao korisnim. Ako su podaci u regresijskom modelu centriran, tada u ovom prikazu prva matrica ima značenje uzorka kovarijanci matrice faktora, a druga je vektor kovarijansi faktora sa zavisnom varijablom. Ako su, pored toga, i podaci normalizovano u SKO-u (tj. na kraju standardizovan), tada prva matrica ima značenje uzorka korelacijske matrice faktora, drugi vektor - vektor uzorka korelacije faktora sa zavisnom varijablom.

Važno svojstvo LLS procjena za modele sa konstantom- linija konstruirane regresije prolazi kroz težište podataka uzorka, odnosno ispunjena je jednakost:

Konkretno, u ekstremnom slučaju, kada je jedini regresor konstanta, nalazimo da je OLS procjena jednog parametra (sama konstanta) jednaka srednjoj vrijednosti varijable koja se objašnjava. Odnosno, aritmetička sredina, poznata po dobrim svojstvima iz zakona velikih brojeva, takođe je procjena najmanjih kvadrata - zadovoljava kriterij za minimalni zbir kvadrata odstupanja od nje.

Primjer: jednostavna (parna) regresija

U slučaju uparene linearne regresije, formule za izračunavanje su pojednostavljene (možete bez matrične algebre):

Svojstva OLS procjena

Prije svega, napominjemo da su za linearne modele procjene najmanjih kvadrata linearne procjene, kao što slijedi iz gornje formule. Za nepristrasne procjene OLS-a, neophodno je i dovoljno da se ispuni najvažniji uslov regresione analize: matematičko očekivanje slučajne greške uslovljene faktorima mora biti jednako nuli. Ovaj uslov je posebno zadovoljen ako

1. matematičko očekivanje slučajnih grešaka je nula, i
2. faktori i slučajne greške su nezavisne slučajne varijable.

Drugi uslov - stanje egzogenih faktora - je fundamentalan. Ako ovo svojstvo nije zadovoljeno, onda možemo pretpostaviti da će gotovo sve procjene biti krajnje nezadovoljavajuće: neće biti čak ni konzistentne (to jest, čak i vrlo velika količina podataka ne dozvoljava dobijanje kvalitativnih procjena u ovom slučaju). U klasičnom slučaju, jača se pretpostavka o determinizmu faktora, za razliku od slučajne greške, što automatski znači da je egzogeni uslov zadovoljen. U opštem slučaju, za konzistentnost procena, dovoljno je ispuniti uslov egzogenosti zajedno sa konvergencijom matrice nekoj nesingularnoj matrici sa povećanjem veličine uzorka do beskonačnosti.

Da bi, osim konzistentnosti i nepristrasnosti, i procjene (uobičajenih) najmanjih kvadrata bile efikasne (najbolje u klasi linearnih nepristrasnih procjena), potrebno je ispuniti dodatna svojstva slučajne greške:

Ove pretpostavke se mogu formulisati za matricu kovarijanse vektora slučajne greške

Linearni model koji zadovoljava ove uslove naziva se klasična. OLS procjene za klasičnu linearnu regresiju su nepristrasne, konzistentne i najefikasnije procjene u klasi svih linearnih nepristrasnih procjena (u engleskoj literaturi ponekad se koristi skraćenica plava (Najbolji linearni nebazirani procjenitelj) je najbolja linearna nepristrasna procjena; u domaćoj literaturi češće se citira Gauss-Markovljeva teorema). Kao što je lako pokazati, matrica kovarijanse vektora procjena koeficijenta bit će jednaka:

Generalizirani najmanji kvadrati

Metoda najmanjih kvadrata omogućava široku generalizaciju. Umjesto minimiziranja sume kvadrata reziduala, može se minimizirati neki pozitivno definitivni kvadratni oblik rezidualnog vektora , gdje je neka simetrična matrica pozitivne određene težine. Obični najmanji kvadrati je poseban slučaj ovog pristupa, kada je matrica težine proporcionalna matrici identiteta. Kao što je poznato iz teorije simetričnih matrica (ili operatora), postoji dekompozicija za takve matrice. Prema tome, navedena funkcionalna se može predstaviti na sljedeći način, odnosno ova funkcionalna se može predstaviti kao zbir kvadrata nekih transformiranih "reziduala". Tako možemo razlikovati klasu metoda najmanjih kvadrata - LS-metode (Least Squares).

Dokazano je (Aitkenova teorema) da su za generalizovani model linearne regresije (u kojem se ne nameću ograničenja na matricu kovarijanse slučajnih grešaka) najefikasnije (u klasi linearnih nepristrasnih procjena) procjene tzv. generalizirani OLS (OMNK, GLS - generalizirani najmanji kvadrati)- LS-metoda sa težinskom matricom jednakom inverznoj kovarijansnoj matrici slučajnih grešaka: .

Može se pokazati da formula za GLS-procjene parametara linearnog modela ima oblik

Matrica kovarijanse ovih procjena će biti jednaka

Zapravo, suština OLS-a leži u određenoj (linearnoj) transformaciji (P) izvornih podataka i primjeni uobičajenih najmanjih kvadrata na transformirane podatke. Svrha ove transformacije je da za transformirane podatke slučajne greške već zadovoljavaju klasične pretpostavke.

Ponderisani najmanji kvadrati

U slučaju dijagonalne matrice težine (a time i matrice kovarijanse slučajnih grešaka), imamo takozvane ponderisane najmanje kvadrate (WLS - Weighted Least Squares). U ovom slučaju, ponderisani zbir kvadrata reziduala modela je minimiziran, odnosno svako zapažanje dobija "težinu" koja je obrnuto proporcionalna varijansi slučajne greške u ovom zapažanju: . U stvari, podaci se transformišu ponderisanjem zapažanja (dijeljenjem sa količinom proporcionalnom pretpostavljenoj standardnoj devijaciji slučajnih grešaka), a normalni najmanji kvadrati se primenjuju na ponderisane podatke.

Neki posebni slučajevi primjene LSM-a u praksi

Linearna aproksimacija

Razmotrimo slučaj kada, kao rezultat proučavanja zavisnosti određene skalarne veličine od određene skalarne veličine (To može biti, na primjer, ovisnost napona o jakosti struje: , gdje je konstantna vrijednost, otpor vodiča ), ove veličine su izmjerene, kao rezultat toga su vrijednosti i njihove odgovarajuće vrijednosti. Podatke mjerenja treba zabilježiti u tabeli.

Table. Rezultati mjerenja.

Pitanje zvuči ovako: koja se vrijednost koeficijenta može odabrati da najbolje opiše ovisnost? Prema najmanjim kvadratima, ova vrijednost treba biti takva da zbir kvadrata odstupanja vrijednosti od vrijednosti

bio minimalan

Zbir kvadrata odstupanja ima jedan ekstrem - minimum, što nam omogućava da koristimo ovu formulu. Nađimo vrijednost koeficijenta iz ove formule. Da bismo to učinili, transformiramo njegovu lijevu stranu na sljedeći način:

Posljednja formula nam omogućava da pronađemo vrijednost koeficijenta , koji je bio potreban u zadatku.

Priča

Sve do početka XIX veka. naučnici nisu imali određena pravila za rješavanje sistema jednačina u kojem je broj nepoznatih manji od broja jednačina; Do tada su se koristile određene metode, ovisno o vrsti jednačina i domišljatosti kalkulatora, pa su različiti kalkulatori, polazeći od istih podataka opservacije, dolazili do različitih zaključaka. Gauss (1795) je zaslužan za prvu primjenu metode, a Legendre (1805) ju je samostalno otkrio i objavio pod njenim modernim imenom (fr. Methode des moindres quarres ) . Laplas je ovu metodu povezao sa teorijom verovatnoće, a američki matematičar Adrain (1808) je razmatrao njene probabilističke primene. Metoda je široko rasprostranjena i poboljšana daljim istraživanjima Enckea, Bessela, Hansena i drugih.

Alternativna upotreba MNK

Ideja metode najmanjih kvadrata može se koristiti i u drugim slučajevima koji nisu direktno povezani s regresijskom analizom. Činjenica je da je zbir kvadrata jedna od najčešćih mjera blizine za vektore (euklidska metrika u konačnodimenzionalnim prostorima).

Jedna aplikacija je "rješavanje" sistema linearnih jednadžbi u kojima je broj jednačina veći od broja varijabli

gdje matrica nije kvadratna, već pravokutna.

Takav sistem jednačina, u opštem slučaju, nema rješenja (ako je rang zapravo veći od broja varijabli). Stoga se ovaj sistem može "riješiti" samo u smislu odabira takvog vektora kako bi se minimizirala "udaljenost" između vektora i . Da biste to učinili, možete primijeniti kriterij za minimiziranje sume kvadrata razlika lijevog i desnog dijela jednadžbe sistema, odnosno, . Lako je pokazati da rješenje ovog problema minimizacije vodi do rješenja sljedećeg sistema jednačina