Lineaarinen regressioanalyysi

Lineaarinen regressioanalyysi on tilastollinen analyysimenetelmä, jossa aineiston perusteella estimoidaan tarkasteltavan vastemuuttujan lineaarista riippuvuutta selittävistä muuttujista. Menetelmää sovelletaan lähes kaikilla tieteenaloilla, joilla tehdään empiiristä tutkimusta.

Seuraavassa on esimerkki lineaarisesta regressianalyysista, jossa estimoidaan yhtälön

$y=\backslash alpha+\backslash beta\; x$,

tuntemattomat parametrit $\backslash alpha,\; \backslash beta$ kun on havaittu selitettävän muuttujan $y\_i$ ja selittävän muuttujan$x\_i$ havainnot $i=1,..,n$. Kirjoitetaan:

$y\_i=\backslash alpha\; +\; \backslash beta\; x\_i+\backslash varepsilon\_i,$

missä $\backslash varepsilon\_i$ on mallin jäännösvirhe eli residuaali. Kun mallin parametrit estimoidaan pienimmän neliösumman menetelmällä, valitaan estimaatit siten, että residuaalien neliöiden summa minimoidaan.

Yleensä lineaarisessa regressioanalyysissa tehdään Gauss-Markov -oletukset:

• Virhetermit $\backslash varepsilon\_i$ ovat satunnaisia ja niiden odotusarvo on 0.
• Virhetermit ovat korreloimattomia (toisinaan tehdään vahvempi riippumattomuusoletus).
• Virhetermit ovat homoskedastisia eli niiden varianssi on vakio.

Gauss-Markov -teoreeman mukaan pienimmän neliösumman estimaattori on oletuksien vallitessa tehokkain harhaton lineaarinen estimaattori.

Parametrien estimointi

Kirjoittamalla malli $y\_i\; =\; \backslash alpha\; +\; \backslash beta\; x\_i\; +\; \backslash varepsilon\_i$ lineaarisena yhtälösysteeminä, voidaan malli esittää matriisimuodossa, jolloin X aineistomatriisi, Y vastevektori ja $\backslash delta$ parametrivektori. Matriisien i:nnes rivi sisältää aineiston rivit $x\_i$ ja $y\_i$ Tällöin malli voidaan kirjoittaa:

,

joka on matriisiena:

$Y\; =\; X\; \backslash delta\; +\; \backslash varepsilon\; \backslash ,$

Nyt yhtälö voidaan kertoa vasemmalta matriisilla $X\text{'}$

$X\text{'}Y\; =\; X\text{'}X\; \backslash delta\; +\; X\text{'}\backslash varepsilon\; \backslash ,$

Olettaen, että matriisi $(X\text{'}X)^\{-1\}$ on olemassa, voidaan yhtälö kertoa sillä vasemmalta puolelta:

$(X\text{'}X)^\{-1\}X\text{'}Y\; =\; (X\text{'}X)^\{-1\}X\text{'}X\; \backslash delta\; +\; (X\text{'}X)^\{-1\}X\text{'}\backslash varepsilon\; \backslash ,$

Ottamalla odotusarvo ja ratkaisemalla yhtälö saadaan estimaatti:

$\backslash widehat\{\backslash delta\}=(X\text{'}X)^\{-1\}X\text{'}Y\; \backslash ,$

Aiheesta muualla

• Least Squares Fitting -- MathWorld