Do grupy należy metoda najmniejszych kwadratów. Aproksymacja danych eksperymentalnych

Po wyrównaniu otrzymujemy funkcję o postaci: g (x) = x + 1 3 + 1 .

Możemy przybliżyć te dane za pomocą zależności liniowej y = a x + b, obliczając odpowiednie parametry. W tym celu będziemy musieli zastosować tzw. metodę najmniejszych kwadratów. Będziesz także musiał wykonać rysunek, aby sprawdzić, która linia najlepiej dopasuje dane eksperymentalne.

Czym dokładnie jest OLS (metoda najmniejszych kwadratów)

Najważniejsze, co musimy zrobić, to znaleźć takie współczynniki zależności liniowej, przy których wartość funkcji dwóch zmiennych F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 będzie najmniejsza . Innymi słowy, dla pewnych wartości a i b suma kwadratów odchyleń prezentowanych danych od wynikowej linii prostej będzie miała wartość minimalną. Takie jest znaczenie metody najmniejszych kwadratów. Wszystko, co musimy zrobić, aby rozwiązać ten przykład, to znaleźć ekstremum funkcji dwóch zmiennych.

Jak wyprowadzić wzory do obliczania współczynników

W celu wyprowadzenia wzorów na obliczanie współczynników konieczne jest ułożenie i rozwiązanie układu równań z dwiema zmiennymi. Aby to zrobić, obliczamy pochodne cząstkowe wyrażenia F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 względem a i b i przyrównujemy je do 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y ja a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Aby rozwiązać układ równań, możesz użyć dowolnych metod, takich jak podstawienie lub metoda Cramera. W efekcie powinniśmy otrzymać formuły obliczające współczynniki metodą najmniejszych kwadratów.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Obliczyliśmy wartości zmiennych, dla których funkcja
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 przyjmie wartość minimalną. W trzecim akapicie pokażemy, dlaczego tak jest.

Jest to zastosowanie w praktyce metody najmniejszych kwadratów. Jego wzór, który służy do znalezienia parametru a , obejmuje ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , oraz parametr
n - oznacza ilość danych eksperymentalnych. Radzimy obliczyć każdą kwotę osobno. Wartość współczynnika b jest obliczana bezpośrednio po a .

Wróćmy do oryginalnego przykładu.

Przykład 1

Tutaj mamy n równe pięć. Aby wygodniej było obliczyć wymagane kwoty zawarte we wzorach współczynników, wypełniamy tabelę.

Decyzja

Czwarty wiersz zawiera dane uzyskane przez pomnożenie wartości z drugiego wiersza przez wartości trzeciego dla każdej osoby i . Piąty wiersz zawiera dane z drugiego do kwadratu. Ostatnia kolumna pokazuje sumy wartości poszczególnych wierszy.

Użyjmy metody najmniejszych kwadratów do obliczenia współczynników aib, których potrzebujemy. Aby to zrobić, zastąp żądane wartości z ostatniej kolumny i oblicz sumy:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0,165 b ≈ 2, 184

Otrzymaliśmy, że pożądana przybliżająca linia prosta będzie wyglądać tak: y = 0,165 x + 2,184 . Teraz musimy określić, która linia najlepiej przybliży dane - g (x) = x + 1 3 + 1 lub 0 , 165 x + 2 , 184 . Zróbmy oszacowanie metodą najmniejszych kwadratów.

Aby obliczyć błąd, musimy znaleźć sumy kwadratów odchyleń danych z linii σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 i σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , minimalna wartość będzie odpowiadać bardziej odpowiedniej linii.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Odpowiedź: od σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2 , 184 .

Metoda najmniejszych kwadratów jest wyraźnie pokazana na ilustracji graficznej. Czerwona linia oznacza linię prostą g (x) = x + 1 3 + 1, niebieska linia oznacza y = 0,165 x + 2, 184. Surowe dane są oznaczone różowymi kropkami.

Wyjaśnijmy, dlaczego dokładnie tego typu przybliżenia są potrzebne.

Mogą być stosowane w problemach wymagających wygładzania danych, a także w tych, w których dane muszą być interpolowane lub ekstrapolowane. Na przykład w omawianym powyżej zadaniu można znaleźć wartość obserwowanej wielkości y przy x = 3 lub przy x = 6 . Takim przykładom poświęciliśmy osobny artykuł.

Dowód metody LSM

Aby funkcja przybrała minimalną wartość dla obliczonych a i b, konieczne jest, aby w danym punkcie macierz kwadratowej postaci różniczki funkcji postaci F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 być dodatnio określone. Pokażmy Ci, jak to powinno wyglądać.

Przykład 2

Mamy dyferencjał drugiego rzędu o następującej postaci:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b da d b + δ 2 F (a ; b) δ b 2 d 2b

Decyzja

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Innymi słowy, można to zapisać w następujący sposób: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n da d b + (2 n) d 2 b .

Otrzymaliśmy macierz o postaci kwadratowej M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

W takim przypadku wartości poszczególnych elementów nie ulegną zmianie w zależności od a i b . Czy ta macierz dodatnia jest określona? Aby odpowiedzieć na to pytanie, sprawdźmy, czy jego drobne kątowe są pozytywne.

Oblicz molową kątową pierwszego rzędu: 2 ∑ i = 1 n (x i) 2 > 0 . Ponieważ punkty x i nie pokrywają się, nierówność jest ścisła. Będziemy o tym pamiętać w dalszych obliczeniach.

Obliczamy drobne kątowe drugiego rzędu:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Następnie przechodzimy do dowodu nierówności n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 za pomocą indukcji matematycznej.

1. Sprawdźmy, czy ta nierówność obowiązuje dla dowolnego n . Weźmy 2 i obliczmy:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Otrzymaliśmy poprawną równość (jeśli wartości x 1 i x 2 się nie zgadzają).

1. Załóżmy, że ta nierówność będzie prawdziwa dla n , tj. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – prawda.
2. Teraz udowodnijmy słuszność dla n + 1 , tj. że (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 jeśli n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Obliczamy:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Wyrażenie ujęte w nawiasy klamrowe będzie większe od 0 (na podstawie tego, co założyliśmy w kroku 2), a pozostałe wyrażenia będą większe od 0, ponieważ wszystkie są kwadratami liczb. Udowodniliśmy nierówność.

Odpowiedź: znalezione a i b będą odpowiadały najmniejszej wartości funkcji F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, co oznacza, że ​​są one wymaganymi parametrami metody najmniejszych kwadratów (LSM).

Jeśli zauważysz błąd w tekście, zaznacz go i naciśnij Ctrl+Enter

Jeśli jakaś wielkość fizyczna zależy od innej wielkości, to zależność tę można zbadać, mierząc y przy różnych wartościach x. W wyniku pomiarów uzyskuje się szereg wartości:

x 1 , x 2 , ... , x i , ... , x n ;

r 1 , r 2 , ..., r ja , ... , r n .

Na podstawie danych z takiego eksperymentu można wykreślić zależność y = ƒ(x). Otrzymana krzywa umożliwia ocenę postaci funkcji ƒ(x). Jednak stałe współczynniki, które wchodzą w tę funkcję, pozostają nieznane. Można je wyznaczyć metodą najmniejszych kwadratów. Punkty doświadczalne z reguły nie leżą dokładnie na krzywej. Metoda najmniejszych kwadratów wymaga, aby suma kwadratów odchyleń punktów eksperymentalnych od krzywej, tj. 2 był najmniejszy.

W praktyce metoda ta jest najczęściej (i najprościej) stosowana w przypadku zależności liniowej, tj. Kiedy

y=kx lub y = a + bx.

Zależność liniowa jest bardzo rozpowszechniona w fizyce. A nawet gdy zależność jest nieliniowa, zwykle starają się zbudować wykres w taki sposób, aby uzyskać linię prostą. Na przykład, jeśli założymy, że współczynnik załamania szkła n jest związany z długością fali λ fali świetlnej zależnością n = a + b/λ 2 , to na wykresie wykreśla się zależność n od λ -2 .

Rozważ zależność y=kx(linia prosta przechodząca przez początek). Skomponuj wartość φ - sumę kwadratów odchyleń naszych punktów od prostej

Wartość φ jest zawsze dodatnia i okazuje się być tym mniejsza, im bliżej linii prostej są nasze punkty. Metoda najmniejszych kwadratów mówi, że dla k należy wybrać taką wartość, przy której φ ma minimum

lub
(19)

Z obliczeń wynika, że ​​pierwiastek błędu średniokwadratowego w wyznaczeniu wartości k jest równy

, (20)
gdzie – n to liczba pomiarów.

Rozważmy teraz nieco trudniejszy przypadek, gdy punkty muszą spełniać formułę y = a + bx(linia prosta nie przechodząca przez początek).

Zadanie polega na znalezieniu najlepszych wartości a i b z podanego zbioru wartości x i , y i .

Ponownie tworzymy kwadratową formę φ równą sumie kwadratów odchyleń punktów x i , y i od prostej

i znajdź wartości a i b dla których φ ma minimum

;

.

Łączne rozwiązanie tych równań daje

(21)

Błędy średniokwadratowe wyznaczania a i b są równe

(23)

.  (24)

Przy przetwarzaniu wyników pomiarów tą metodą wygodnie jest podsumować wszystkie dane w tabeli, w której wstępnie obliczone są wszystkie sumy zawarte we wzorach (19)–(24). Formy tych tabel są pokazane w poniższych przykładach.

Przykład 1 Zbadano podstawowe równanie dynamiki ruchu obrotowego ε = M/J (linia prosta przechodząca przez początek układu). Dla różnych wartości momentu M zmierzono przyspieszenie kątowe ε określonego ciała. Wymagane jest określenie momentu bezwładności tego ciała. Wyniki pomiarów momentu siły i przyspieszenia kątowego zestawiono w drugiej i trzeciej kolumnie tabele 5.

Tabela 5

Za pomocą wzoru (19) określamy:

.

Aby wyznaczyć pierwiastek błędu średniokwadratowego, posługujemy się wzorem (20)

0.005775kg-jeden · m -2 .

Według wzoru (18) mamy

SJ = (2,996 0,005775)/0,3337 = 0,05185 kg m 2.

Biorąc pod uwagę rzetelność P = 0,95 , zgodnie z tabelą współczynników Studenta dla n = 5 znajdujemy t = 2,78 i wyznaczamy błąd bezwzględny ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m 2.

Wyniki zapisujemy w postaci:

J = (3,0 ± 0,2) kg m 2;

Przykład 2 Współczynnik temperaturowy oporu metalu obliczamy metodą najmniejszych kwadratów. Rezystancja zależy od temperatury zgodnie z zasadą liniową

R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °.

Człon swobodny określa opór R 0 w temperaturze 0 ° C, a współczynnik kątowy jest iloczynem współczynnika temperaturowego α i oporu R 0 .

Wyniki pomiarów i obliczeń podane są w tabeli ( patrz tabela 6).

Tabela 6

Za pomocą wzorów (21), (22) określamy

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Om.

Znajdźmy błąd w definicji α. Ponieważ , to według wzoru (18) mamy:

.

Używając wzorów (23), (24) mamy

;

0.014126 Om.

Biorąc pod uwagę rzetelność P = 0,95, zgodnie z tabelą współczynników Studenta dla n = 6 znajdujemy t = 2,57 i wyznaczamy błąd bezwzględny Δα = 2,57 0,000132 = 0,000338 stopień -1.

α = (23 ± 4) 10 -4 grad-1 przy P = 0,95.

Przykład 3 Wymagane jest wyznaczenie promienia krzywizny soczewki z pierścieni Newtona. Zmierzono promienie pierścieni Newtona rm i określono liczby tych pierścieni m. Promienie pierścieni Newtona są związane z promieniem krzywizny soczewki R i liczbą pierścieni równaniem

r 2 m = mλR - 2d 0 R,

gdzie d 0 jest grubością szczeliny między soczewką a płytką płasko-równoległą (lub deformacją soczewki),

λ to długość fali padającego światła.

λ = (600 ± 6) nm;
r2m = y;
m = x;
λR = b;
-2d 0 R = a,

wtedy równanie przyjmie postać y = a + bx.

Wyniki pomiarów i obliczeń wprowadza się w tabela 7.

Tabela 7

Metoda najmniejszych kwadratów

W końcowej lekcji tematu zapoznamy się z najsłynniejszą aplikacją FNP, który znajduje najszersze zastosowanie w różnych dziedzinach nauki i praktyki. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej i tak dalej. Z woli losu często mam do czynienia z gospodarką, dlatego dziś załatwię dla Ciebie bilet do niesamowitego kraju o nazwie Ekonometria=) … Jak tego nie chcesz?! Tam jest bardzo dobrze - musisz tylko zdecydować! …Ale na pewno chcesz się nauczyć, jak rozwiązywać problemy najmniejsze kwadraty. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne określenie problemu+ powiązany przykład:

Niech wskaźniki będą badane w jakimś obszarze tematycznym, które mają wyraz ilościowy. Jednocześnie istnieją wszelkie powody, by sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być zarówno hipotezą naukową, jak i opierać się na elementarnym zdrowym rozsądku. Zostawmy jednak naukę na boku i zbadajmy bardziej apetyczne obszary - a mianowicie sklepy spożywcze. Oznacz przez:

– powierzchnia handlowa sklepu spożywczego, mkw.,
- roczny obrót sklepu spożywczego, mln rubli.

Dość jasne jest, że im większa powierzchnia sklepu, tym w większości przypadków jego obroty są większe.

Załóżmy, że po przeprowadzeniu obserwacji / eksperymentów / obliczeń / tańca z tamburynem mamy do dyspozycji dane liczbowe:

W przypadku sklepów spożywczych wszystko jest jasne: - to powierzchnia I sklepu, - jego roczny obrót, - powierzchnia II sklepu, - jego roczny obrót itp. Swoją drogą wcale nie jest konieczny dostęp do materiałów niejawnych – dość dokładną ocenę obrotów można uzyskać za pomocą statystyka matematyczna. Jednak nie rozpraszaj się, kurs szpiegostwa handlowego jest już opłacony =)

Dane tabelaryczne można również zapisać w formie punktów i przedstawić w zwykły dla nas sposób. Układ kartezjański .

Odpowiedzmy na ważne pytanie: ile punktów potrzeba na badanie jakościowe?

Im większy tym lepszy. Minimalny dopuszczalny zestaw składa się z 5-6 punktów. Ponadto przy niewielkiej ilości danych „nienormalne” wyniki nie powinny być uwzględniane w próbie. Na przykład mały sklep elitarny może pomóc o rząd wielkości bardziej niż „swoim kolegom”, zniekształcając w ten sposób ogólny wzorzec, który należy znaleźć!

Jeśli jest to dość proste, musimy wybrać funkcję , harmonogram który przechodzi jak najbliżej punktów . Taka funkcja nazywa się przybliżanie (przybliżenie - przybliżenie) lub funkcja teoretyczna . Ogólnie rzecz biorąc, od razu pojawia się tu oczywisty „udacznik” – wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (ponieważ wykres będzie cały czas „wijał” i słabo odzwierciedlał główny trend).

Pożądana funkcja musi więc być wystarczająco prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedną z metod znajdowania takich funkcji jest najmniejsze kwadraty. Najpierw przeanalizujmy jego istotę w sposób ogólny. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy też różnice (odchylenia) między wartościami eksperymentalnymi i funkcjonalnymi (studiujemy rysunek). Pierwsza myśl, jaka przychodzi mi do głowy, to oszacowanie, jak duża jest kwota, ale problem polega na tym, że różnice mogą być ujemne. (Na przykład, ) a odchylenia w wyniku takiego podsumowania znoszą się wzajemnie. Dlatego jako oszacowanie dokładności aproksymacji sugeruje się przyjęcie sumy moduły odchylenia:

lub w formie złożonej: (dla tych, którzy nie wiedzą: to ikona sumy, i - zmienna pomocnicza - "licznik", która przyjmuje wartości od 1 do ) .

Przybliżając punkty eksperymentalne różnymi funkcjami, otrzymamy różne wartości, a gdzie ta suma jest mniejsza jest oczywiste - ta funkcja jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stało się to znacznie bardziej rozpowszechnione. metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie do kwadratu odchyleń:

, po czym kieruje się wysiłki na wybór takiej funkcji, aby suma kwadratów odchyleń był tak mały, jak to tylko możliwe. Właściwie stąd nazwa metody.

A teraz wracamy do kolejnego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale jest też wiele takich funkcji: liniowy , hiperboliczny , wykładniczy , logarytmiczny , kwadratowy itp. I oczywiście tutaj od razu chciałbym „zredukować pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

- Najłatwiejszy sposób na losowanie punktów na rysunku i przeanalizuj ich lokalizację. Jeśli mają tendencję do układania się w linii prostej, powinieneś poszukać równanie linii prostej o optymalnych wartościach i . Innymi słowy zadanie polega na znalezieniu TAKICH współczynników - aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się na przykład wzdłuż hiperbola, to jasne jest, że funkcja liniowa da słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli - te, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy o funkcje dwóch zmiennych, którego argumentami są przeszukane opcje zależności:

I w gruncie rzeczy musimy rozwiązać standardowy problem - znaleźć minimum funkcji dwóch zmiennych.

Przypomnij sobie nasz przykład: załóżmy, że punkty „sklepowe” mają tendencję do układania się w linii prostej i są wszelkie powody, by sądzić, że ich obecność zależność liniowa obrót z obszaru handlowego. Znajdźmy TAKIE współczynniki „a” i „be”, aby suma kwadratów odchyleń był najmniejszy. Wszystko jak zwykle - najpierw pochodne cząstkowe I rzędu. Według zasada liniowości możesz rozróżnić tuż pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje do eseju lub zajęć, będę bardzo wdzięczny za link na liście źródeł, nigdzie nie znajdziesz tak szczegółowych obliczeń:

Zróbmy standardowy system:

Każde równanie redukujemy o „dwa” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „be” mogą zostać usunięte z ikony sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w postaci „stosowanej”:

po czym zaczyna się rysować algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. Sumy możemy znaleźć? Łatwo. Komponujemy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „beh”). Rozwiązujemy system m.in. Metoda Cramera, w wyniku czego powstaje punkt stacjonarny . Kontrola warunek wystarczający dla ekstremum, możemy zweryfikować, że w tym momencie funkcja dociera dokładnie minimum. Weryfikacja wiąże się z dodatkowymi obliczeniami i dlatego zostawiamy ją za kulisami. (w razie potrzeby brakującą ramkę można obejrzeć)tutaj ) . Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty eksperymentalne . Z grubsza mówiąc, jego wykres zbliża się do tych punktów jak najbliżej. W tradycji ekonometria wynikowa funkcja aproksymująca jest również nazywana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W sytuacji z naszym przykładem równanie pozwala przewidzieć jakie obroty ("yig") będzie w sklepie z taką lub inną wartością powierzchni sprzedaży (jedno lub drugie znaczenie „x”). Tak, wynikowa prognoza będzie tylko prognozą, ale w wielu przypadkach okaże się całkiem dokładna.

Przeanalizuję tylko jeden problem z „prawdziwymi” liczbami, ponieważ nie ma w tym żadnych trudności - wszystkie obliczenia są na poziomie szkolnego programu nauczania w klasach 7-8. W 95 procentach przypadków zostaniesz poproszony o znalezienie funkcji liniowej, ale na samym końcu artykułu pokażę, że nie jest trudniej znaleźć równania dla optymalnej hiperboli, wykładnika i kilku innych funkcji.

W rzeczywistości pozostaje dystrybuować obiecane gadżety - abyś nauczył się rozwiązywać takie przykłady nie tylko dokładnie, ale także szybko. Dokładnie studiujemy standard:

Zadanie

W wyniku badania zależności między dwoma wskaźnikami uzyskano następujące pary liczb:

Używając metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża funkcję empiryczną (doświadczony) dane. Zrób rysunek, na którym w kartezjańskim prostokątnym układzie współrzędnych narysuj punkty doświadczalne i wykres funkcji aproksymującej . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy funkcja jest lepsza (pod względem metody najmniejszych kwadratów) przybliżone punkty doświadczalne.

Zauważ, że wartości „x” są wartościami naturalnymi, a to ma charakterystyczne znaczące znaczenie, o którym opowiem nieco później; ale oczywiście mogą być ułamkowe. Ponadto, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „G” mogą być całkowicie lub częściowo ujemne. No cóż, dostaliśmy zadanie „bez twarzy” i zaczynamy je decyzja:

Znajdujemy współczynniki funkcji optymalnej jako rozwiązanie układu:

Dla celów bardziej zwartej notacji można pominąć zmienną „licznik”, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest korzystać z Excela – zarówno szybciej, jak i bez błędów; obejrzyj krótki film:

W ten sposób otrzymujemy następujące system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odjąć drugi od pierwszego członu równania przez termin. Ale to szczęście – w praktyce systemy często nie są uzdolnione, a w takich przypadkach to oszczędza Metoda Cramera:
, dzięki czemu system posiada unikalne rozwiązanie.

Sprawdźmy. Rozumiem, że nie chcę, ale po co pomijać błędy, których absolutnie nie można przegapić? Podstaw znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymane są właściwe części odpowiednich równań, co oznacza, że ​​układ jest rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe dane eksperymentalne są przez nią najlepiej przybliżone.

w odróżnieniu prosty zależność obrotów sklepu od jego powierzchni, stwierdzona zależność to odwrócić (zasada „im więcej – tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw współczynnik kątowy. Funkcjonować informuje nas, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę, wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej sprzedawana.

Aby wykreślić funkcję aproksymującą, znajdujemy dwie jej wartości:

i wykonaj rysunek:

Zbudowana linia nazywa się linia trendu (mianowicie liniowa linia trendu, czyli w ogólnym przypadku trend niekoniecznie musi być linią prostą). Wszyscy znają wyrażenie „być w trendzie” i myślę, że to określenie nie wymaga dodatkowych komentarzy.

Oblicz sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości „szkarłatnych” odcinków (z których dwa są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Można je ponownie przeprowadzić ręcznie, na wszelki wypadek podam przykład dla pierwszego punktu:

ale znacznie wydajniej jest zrobić znany już sposób:

Powtórzmy: jakie jest znaczenie wyniku? Od wszystkie funkcje liniowe funkcjonować wykładnik jest najmniejszy, to znaczy jest najlepszym przybliżeniem w swojej rodzinie. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co jeśli proponowana funkcja wykładnicza czy lepiej będzie przybliżyć punkty doświadczalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń - aby je rozróżnić, oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:


I znowu dla każdego obliczenia pożaru za 1 punkt:

W Excelu używamy funkcji standardowej DO POTĘGI (Składnię można znaleźć w pomocy programu Excel).

Wniosek: , więc funkcja wykładnicza aproksymuje punkty eksperymentalne gorzej niż linia prosta .

Ale należy tutaj zauważyć, że „gorsze” jest jeszcze nie znaczy, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej - i ona również przechodzi blisko punktów - do tego stopnia, że ​​bez badania analitycznego trudno powiedzieć, która funkcja jest dokładniejsza.

To kończy rozwiązanie i wracam do pytania o naturalne wartości argumentu. W różnych opracowaniach, z reguły, miesiące, lata lub inne równe przedziały czasowe, ekonomiczne lub socjologiczne, numeruje się naturalnym „X”. Rozważmy na przykład następujący problem:

Posiadamy następujące dane o obrotach detalicznych sklepu za pierwsze półrocze:

Korzystając z wyrównania analitycznego w linii prostej, znajdź wielkość sprzedaży w lipcu.

Tak, nie ma problemu: liczymy miesiące 1, 2, 3, 4, 5, 6 i posługujemy się zwykłym algorytmem, w wyniku którego otrzymujemy równanie - jedyne co jeśli chodzi o czas to zazwyczaj litera "te " (choć to nie jest krytyczne). Z otrzymanego równania wynika, że ​​w pierwszym półroczu obroty wzrosły średnio o 27,74 jp. na miesiąc. Uzyskaj prognozę na lipiec (miesiąc #7): j.m.

I podobne zadania - ciemność jest ciemna. Chętni mogą skorzystać z dodatkowej usługi, a mianowicie my Kalkulator Excela (wersja demo), który rozwiązuje problem niemal natychmiast! Dostępna jest działająca wersja programu w zamian albo za symboliczna płatność.

Na koniec lekcji krótka informacja o znajdowaniu zależności niektórych innych typów. Właściwie nie ma nic specjalnego do powiedzenia, ponieważ podstawowe podejście i algorytm rozwiązania pozostają takie same.

Załóżmy, że położenie punktów doświadczalnych przypomina hiperbolę. Następnie, aby znaleźć współczynniki najlepszej hiperboli, musisz znaleźć minimum funkcji - chętni mogą przeprowadzić szczegółowe obliczenia i przejść do podobnego układu:

Z formalnego technicznego punktu widzenia uzyskuje się go z systemu „liniowego” (oznaczmy to gwiazdką) zastępując „x” . Cóż, kwoty obliczyć, po czym do optymalnych współczynników „a” i „be” na dłoni.

Jeśli są wszelkie powody, by sądzić, że punkty są ułożone wzdłuż krzywej logarytmicznej, a następnie w celu wyszukania optymalnych wartości i znalezienia minimum funkcji . Formalnie w systemie (*) należy zastąpić:

Podczas obliczania w Excelu użyj funkcji LN. Przyznam się, że nie będzie mi trudno stworzyć kalkulatory dla każdego z rozważanych przypadków, ale i tak będzie lepiej, jeśli samemu "zaprogramujecie" obliczenia. Samouczki wideo, które pomogą.

W przypadku zależności wykładniczej sytuacja jest nieco bardziej skomplikowana. Aby zredukować sprawę do przypadku liniowego, bierzemy logarytm funkcji i używamy własności logarytmu:

Teraz porównując otrzymaną funkcję z funkcją liniową , dochodzimy do wniosku, że w układzie (*) należy zastąpić przez , oraz - przez . Dla wygody oznaczamy:

Należy pamiętać, że system jest rozwiązany w odniesieniu do i , dlatego po znalezieniu pierwiastków nie można zapomnieć o znalezieniu samego współczynnika.

Aby przybliżyć punkty eksperymentalne optymalna parabola , należy znaleźć minimum funkcji trzech zmiennych . Po wykonaniu standardowych czynności otrzymujemy następujące "działanie" system:

Tak, oczywiście kwot jest tu więcej, ale nie ma żadnych trudności podczas korzystania z ulubionej aplikacji. I na koniec powiem Ci, jak szybko sprawdzić za pomocą Excela i zbudować pożądaną linię trendu: utwórz wykres punktowy, wybierz dowolny punkt za pomocą myszy i kliknij prawym przyciskiem myszy wybierz opcję "Dodaj linię trendu". Następnie wybierz typ wykresu i na zakładce „Opcje” aktywuj opcję "Pokaż równanie na wykresie". OK

Jak zawsze chcę zakończyć artykuł jakimś pięknym zwrotem i prawie wpisałem „Bądź w trendzie!”. Ale z czasem zmienił zdanie. I nie dlatego, że jest schematyczny. Nie wiem jak ktokolwiek, ale nie chcę w ogóle podążać za promowanym amerykańskim, a zwłaszcza europejskim trendem =) Dlatego życzę każdemu z Was, aby trzymał się swojej linii!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metoda najmniejszych kwadratów jest jedną z najczęstszych i najbardziej rozwiniętych ze względu na jej prostota i efektywność metod szacowania parametrów liniowych modeli ekonometrycznych. Jednocześnie należy zachować ostrożność przy jego stosowaniu, gdyż budowane z jego pomocą modele mogą nie spełniać szeregu wymagań co do jakości swoich parametrów i w efekcie nie „dobrze” odzwierciedlać wzorców rozwoju procesów.

Rozważmy bardziej szczegółowo procedurę szacowania parametrów liniowego modelu ekonometrycznego metodą najmniejszych kwadratów. Taki model w postaci ogólnej można przedstawić równaniem (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Dane początkowe przy szacowaniu parametrów a 0 , a 1 ,..., a n to wektor wartości zmiennej zależnej tak= (y 1 , y 2 , ... , y T)" oraz macierz wartości zmiennych niezależnych

w której pierwsza kolumna składająca się z jedynek odpowiada współczynnikowi modelu .

Metoda najmniejszych kwadratów otrzymała swoją nazwę w oparciu o podstawową zasadę, że otrzymane na jej podstawie oszacowania parametrów muszą spełniać: suma kwadratów błędu modelu powinna być minimalna.

Przykłady rozwiązywania problemów metodą najmniejszych kwadratów

Przykład 2.1. Przedsiębiorstwo handlowe posiada sieć składającą się z 12 sklepów, których informacje o działalności przedstawia tabela. 2.1.

Kierownictwo firmy chciałoby wiedzieć, jak wielkość rocznych obrotów zależy od powierzchni handlowej sklepu.

Tabela 2.1

Rozwiązanie najmniejszych kwadratów. Wyznaczmy - roczny obrót -tego sklepu, miliony rubli; - powierzchnia sprzedaży sklepu, tys. m2.

Rys.2.1. Wykres punktowy dla przykładu 2.1

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.1).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio zależny od obszaru sprzedaży (tj. y będzie rosło wraz ze wzrostem ). Najbardziej odpowiednią formą połączenia funkcjonalnego jest: liniowy.

Informacje do dalszych obliczeń przedstawiono w tabeli. 2.2. Metodą najmniejszych kwadratów estymujemy parametry liniowego jednoczynnikowego modelu ekonometrycznego

Tabela 2.2

Zatem,

W związku z tym przy wzroście powierzchni handlowej o 1 tys. m 2, przy innych warunkach bez zmian, średni roczny obrót wzrasta o 67,8871 mln rubli.

Przykład 2.2. Kierownictwo przedsiębiorstwa zauważyło, że roczny obrót zależy nie tylko od powierzchni sprzedażowej sklepu (patrz przykład 2.1), ale także od średniej liczby odwiedzających. Odpowiednie informacje przedstawiono w tabeli. 2.3.

Tabela 2.3

Decyzja. Oznacz - średnia liczba odwiedzających th sklep dziennie, tysiąc osób.

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.2).

Na podstawie wykresu rozrzutu możemy wywnioskować, że roczny obrót jest dodatnio powiązany ze średnią liczbą odwiedzających dziennie (tj. y będzie rosło wraz ze wzrostem ). Forma zależności funkcjonalnej jest liniowa.

Ryż. 2.2. Wykres punktowy na przykład 2.2

Tabela 2.4

Generalnie konieczne jest wyznaczenie parametrów dwuczynnikowego modelu ekonometrycznego

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Informacje potrzebne do dalszych obliczeń przedstawia tabela. 2.4.

Oszacujmy parametry liniowego dwuczynnikowego modelu ekonometrycznego metodą najmniejszych kwadratów.

Zatem,

Ocena współczynnika = 61,6583 pokazuje, że przy innych warunkach bez zmian, przy wzroście powierzchni handlowej o 1 tys. m 2 roczne obroty wzrosną średnio o 61,6583 mln rubli.

Szacunek współczynnika = 2,2748 pokazuje, że przy innych warunkach niezmienionych, przy wzroście średniej liczby odwiedzających na 1 tys. osób. dziennie roczny obrót wzrośnie średnio o 2,2748 mln rubli.

Przykład 2.3. Korzystając z informacji przedstawionych w tabeli. 2.2 i 2.4, oszacuj parametr jednoczynnikowego modelu ekonometrycznego

gdzie jest wyśrodkowana wartość rocznego obrotu -tego sklepu, miliony rubli; - wyśrodkowana wartość średniej dziennej liczby odwiedzających t-ty sklep, tys. osób. (patrz przykłady 2.1-2.2).

Decyzja. Dodatkowe informacje wymagane do obliczeń przedstawiono w tabeli. 2.5.

Tabela 2.5

Korzystając ze wzoru (2.35), otrzymujemy

Zatem,

http://www.cleverstudents.ru/articles/mnk.html

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X oraz w podano w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, przybliż te dane liniową zależnością y=ax+b(znajdź opcje a oraz b). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) dopasowuje dane eksperymentalne. Narysuj coś.

Decyzja.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot zawartych we wzorach wymaganych współczynników.

Wartości w czwartym rzędzie tabeli uzyskuje się mnożąc wartości drugiego rzędu przez wartości trzeciego rzędu dla każdej liczby i.

Wartości w piątym wierszu tabeli uzyskuje się podnosząc do kwadratu wartości drugiego wiersza dla każdej liczby i.

Wartości ostatniej kolumny tabeli to sumy wartości w wierszach.

Aby obliczyć współczynniki, korzystamy ze wzorów metody najmniejszych kwadratów a oraz b. Zastępujemy w nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 lub lepiej przybliża oryginalne dane, tj. dokonuje oszacowania metodą najmniejszych kwadratów.

Dowód.

Więc kiedy zostanie znaleziony a oraz b funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz kwadratowej postaci różniczki drugiego rzędu dla funkcji był pozytywny. Pokażmy to.

Różnica drugiego rzędu ma postać:

Tj

Dlatego macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od a oraz b.

Pokażmy, że macierz jest dodatnia określona. Wymaga to, aby małe kąty były dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty

Aproksymacja danych eksperymentalnych to metoda polegająca na zastąpieniu danych uzyskanych eksperymentalnie funkcją analityczną, która najdokładniej przechodzi lub pokrywa się w punktach węzłowych z wartościami początkowymi (dane uzyskane podczas eksperymentu lub eksperymentu). Obecnie istnieją dwa sposoby definiowania funkcji analitycznej:

Konstruując n-stopniowy wielomian interpolacyjny, który przechodzi bezpośrednio przez wszystkie punkty podana tablica danych. W tym przypadku funkcja aproksymująca jest reprezentowana jako: wielomian interpolacyjny w postaci Lagrange'a lub wielomian interpolacyjny w postaci Newtona.

Konstruując n-stopniowy wielomian aproksymujący, który przechodzi blisko punktów z podanej tablicy danych. W ten sposób funkcja aproksymacyjna wygładza wszystkie przypadkowe szumy (lub błędy), które mogą wystąpić podczas eksperymentu: wartości zmierzone podczas eksperymentu zależą od czynników losowych, które zmieniają się zgodnie z własnymi prawami losowymi (błędy pomiaru lub instrumentu, niedokładności lub eksperymenty). błędy). W tym przypadku funkcję aproksymującą wyznacza się metodą najmniejszych kwadratów.

Metoda najmniejszych kwadratów(w literaturze angielskiej Ordinary Least Squares, OLS) to metoda matematyczna oparta na definicji funkcji aproksymującej, która jest budowana w najbliższym sąsiedztwie punktów z danej tablicy danych eksperymentalnych. Bliskość funkcji początkowej i funkcji aproksymującej F(x) określa się miarą liczbową, a mianowicie: suma kwadratów odchyleń danych eksperymentalnych od krzywej aproksymującej F(x) powinna być najmniejsza.

Krzywa dopasowania skonstruowana metodą najmniejszych kwadratów

Stosowana jest metoda najmniejszych kwadratów:

Rozwiązywanie układów równań naddeterminowanych, gdy liczba równań przekracza liczbę niewiadomych;

Poszukiwanie rozwiązania w przypadku zwykłych (nie naddeterminowanych) nieliniowych układów równań;

Do aproksymowania wartości punktowych przez jakąś funkcję aproksymującą.

Funkcja aproksymująca metodą najmniejszych kwadratów jest wyznaczana z warunku minimalnej sumy kwadratów odchyleń obliczonej funkcji aproksymującej z danej tablicy danych eksperymentalnych. To kryterium metody najmniejszych kwadratów jest zapisane jako wyrażenie:

Wartości obliczonej funkcji aproksymującej w punktach węzłowych,

Określona tablica danych eksperymentalnych w punktach węzłowych.

Kryterium kwadratowe ma szereg „dobrych” właściwości, takich jak różniczkowalność, zapewniając unikalne rozwiązanie problemu aproksymacji z wielomianowymi funkcjami aproksymacyjnymi.

W zależności od warunków problemu funkcją aproksymującą jest wielomian stopnia m

Stopień funkcji aproksymującej nie zależy od liczby punktów węzłowych, ale jej wymiar musi być zawsze mniejszy niż wymiar (liczba punktów) danej tablicy danych eksperymentalnych.

∙ Jeżeli stopień funkcji aproksymującej wynosi m=1, to aproksymujemy funkcję tabeli linią prostą (regresja liniowa).

∙ Jeżeli stopień funkcji aproksymującej wynosi m=2, to funkcję tabeli aproksymujemy parabolą kwadratową (aproksymacja kwadratowa).

∙ Jeżeli stopień funkcji aproksymującej wynosi m=3, to funkcję tabeli aproksymujemy parabolą sześcienną (aproksymacja sześcienna).

W ogólnym przypadku, gdy wymagane jest skonstruowanie aproksymującego wielomianu stopnia m dla danych wartości tabelarycznych, warunek minimalnej sumy kwadratów odchyleń po wszystkich punktach węzłowych zapisywany jest w postaci:

- nieznane współczynniki wielomianu aproksymującego stopnia m;

Liczba określonych wartości w tabeli.

Warunkiem koniecznym istnienia minimum funkcji jest równość do zera jej pochodnych cząstkowych względem nieznanych zmiennych . W rezultacie otrzymujemy następujący układ równań:

Przekształćmy otrzymany liniowy układ równań: otwórz nawiasy i przesuń wolne wyrazy na prawą stronę wyrażenia. W rezultacie otrzymany układ liniowych wyrażeń algebraicznych zostanie zapisany w postaci:

Ten system liniowych wyrażeń algebraicznych można przepisać w postaci macierzowej:

W rezultacie otrzymano układ równań liniowych o wymiarze m+1, który składa się z m+1 niewiadomych. Układ ten można rozwiązać dowolną metodą rozwiązywania liniowych równań algebraicznych (na przykład metodą Gaussa). W wyniku rozwiązania zostaną znalezione nieznane parametry funkcji aproksymującej, które zapewniają minimalną sumę kwadratów odchyleń funkcji aproksymującej od danych pierwotnych, tj. najlepsze możliwe przybliżenie kwadratowe. Należy pamiętać, że jeśli zmieni się chociaż jedna wartość danych początkowych, wszystkie współczynniki zmienią swoje wartości, ponieważ są one całkowicie określone przez dane początkowe.

Aproksymacja danych początkowych przez zależność liniową

(regresja liniowa)

Jako przykład rozważmy metodę wyznaczania funkcji aproksymującej, która jest podana jako zależność liniowa. Zgodnie z metodą najmniejszych kwadratów warunek na minimalną sumę kwadratów odchyleń zapisuje się następująco:

Współrzędne punktów węzłowych stołu;

Nieznane współczynniki funkcji aproksymującej, która jest określona jako zależność liniowa.

Warunkiem koniecznym istnienia minimum funkcji jest równość do zera jej pochodnych cząstkowych względem nieznanych zmiennych. W rezultacie otrzymujemy następujący układ równań:

Przekształćmy otrzymany liniowy układ równań.

Rozwiązujemy powstały układ równań liniowych. Współczynniki funkcji aproksymującej w postaci analitycznej wyznacza się następująco (metoda Cramera):

Współczynniki te zapewniają konstrukcję liniowej funkcji aproksymującej zgodnie z kryterium minimalizacji sumy kwadratów funkcji aproksymującej z podanych wartości tabelarycznych (dane doświadczalne).

Algorytm implementacji metody najmniejszych kwadratów

1. Dane początkowe:

Biorąc pod uwagę tablicę danych eksperymentalnych z liczbą pomiarów N

Podano stopień przybliżonego wielomianu (m)

2. Algorytm obliczeniowy:

2.1. Współczynniki są wyznaczane do budowy układu równań o wymiarze

Współczynniki układu równań (lewa strona równania)

- indeks numeru kolumny macierzy kwadratowej układu równań

Swobodne elementy układu równań liniowych (prawa strona równania)

- indeks numeru wiersza macierzy kwadratowej układu równań

2.2. Tworzenie układu równań liniowych o wymiarze .

2.3. Rozwiązanie układu równań liniowych w celu wyznaczenia nieznanych współczynników wielomianu aproksymującego stopnia m.

2.4 Wyznaczanie sumy kwadratów odchyleń wielomianu aproksymującego od wartości początkowych we wszystkich punktach węzłowych

Znaleziona wartość sumy kwadratów odchyleń jest minimalną możliwą.

Przybliżenie z innymi funkcjami

Należy zauważyć, że podczas aproksymowania danych początkowych metodą najmniejszych kwadratów jako funkcję aproksymującą stosuje się czasami funkcję logarytmiczną, funkcję wykładniczą i funkcję potęgową.

Przybliżenie dziennika

Rozważmy przypadek, w którym funkcja aproksymująca jest podana przez funkcję logarytmiczną postaci:

Wybór rodzaju funkcji regresji, tj. rodzaj rozważanego modelu zależności Y od X (lub X od Y), na przykład model liniowy y x = a + bx, konieczne jest określenie określonych wartości współczynników modelu.

Dla różnych wartości a i b można zbudować nieskończoną ilość zależności postaci y x = a + bx, czyli na płaszczyźnie współrzędnych jest nieskończenie wiele linii, ale potrzebujemy takiej zależności, że najlepiej odpowiada obserwowanym wartościom. Problem sprowadza się więc do doboru najlepszych współczynników.

Szukamy funkcji liniowej a + bx, opartej tylko na pewnej liczbie dostępnych obserwacji. Aby znaleźć funkcję najlepiej pasującą do obserwowanych wartości, stosujemy metodę najmniejszych kwadratów.

Oznaczmy: Y i - wartość obliczoną z równania Y i =a+bx i . y i - wartość zmierzona, ε i =y i -Y i - różnica między wartościami zmierzonymi i obliczonymi, ε i =y i -a-bx i .

Metoda najmniejszych kwadratów wymaga, aby ε i , czyli różnica między zmierzonym y i a wartościami Y i obliczonymi z równania, była minimalna. Dlatego tak ustalamy współczynniki a i b, aby suma kwadratów odchyleń obserwowanych wartości od wartości na prostej linii regresji była jak najmniejsza:

Badając tę ​​funkcję argumentów a i za pomocą pochodnych do ekstremum, możemy udowodnić, że funkcja przyjmuje wartość minimalną, jeśli współczynniki a i b są rozwiązaniami układu:

(2)

Jeśli podzielimy obie strony równań normalnych przez n, otrzymamy:

Jeśli się uwzględni (3)

Otrzymać , stąd podstawiając wartość a w pierwszym równaniu, otrzymujemy:

W tym przypadku b nazywa się współczynnikiem regresji; a nazywa się wolnym członem równania regresji i jest obliczany ze wzoru:

Otrzymana linia prosta jest oszacowaniem teoretycznej linii regresji. Mamy:

Więc, jest równaniem regresji liniowej.

Regresja może być prosta (b>0) i odwrotna (b Przykład 1. Wyniki pomiaru wartości X i Y podano w tabeli:

Zakładając, że istnieje zależność liniowa między X i Y y=a+bx, wyznacz współczynniki a i b metodą najmniejszych kwadratów.

Decyzja. Tutaj n=5
x i =-2+0+1+2+4=5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y =0,5+1+1,5+2+3=8

a normalny system (2) ma postać

Rozwiązując ten układ, otrzymujemy: b=0,425, a=1,175. Dlatego y=1,175+0,425x.

Przykład 2. Jest próba 10 obserwacji wskaźników ekonomicznych (X) i (Y).

Wymagane jest znalezienie przykładowego równania regresji Y na X. Skonstruuj przykładową linię regresji Y na X.

Decyzja. 1. Posortujmy dane według wartości x i oraz y i . Otrzymujemy nowy stół:

Aby uprościć obliczenia, skompilujemy tabelę obliczeniową, w której wprowadzimy niezbędne wartości liczbowe.

Zgodnie ze wzorem (4) obliczamy współczynnik regresji

i według wzoru (5)

Zatem przykładowe równanie regresji wygląda tak: y=-59,34+1,3804x.
Wykreślmy punkty (x i ; y i) na płaszczyźnie współrzędnych i zaznaczmy linię regresji.

Rys. 4

Rysunek 4 pokazuje, jak obserwowane wartości znajdują się w stosunku do linii regresji. Aby liczbowo oszacować odchylenia y i od Y i , gdzie y i są wartościami obserwowanymi, a Y i są wartościami wyznaczonymi przez regresję, sporządzimy tabelę:

Wartości Y i są obliczane zgodnie z równaniem regresji.

Zauważalne odchylenie niektórych obserwowanych wartości od linii regresji tłumaczy się niewielką liczbą obserwacji. Podczas badania stopnia liniowej zależności Y od X brana jest pod uwagę liczba obserwacji. O sile zależności decyduje wartość współczynnika korelacji.