Regressioanalyysi on tilastotieteen menetelmä, jonka avulla tarkastellaan vastemuuttujan riippuvuutta valituista selittävistä muuttujista.

Regressioanalyysissa käytetään tyypillisesti seuraavaa esitystapaa:

• Tuntemattomat parametrit merkitään skalaarilla tai vektorilla β
• Selittäviä muuttujia eli kovariaatteja merkitään vektorilla tai matriisilla X
• Selitettävää muuttujaa merkitään Y

Yleisessä muodossa regressiomalli esittää muuttujan Y muuttujan X ja parametrien β funktiona: E(Y | X) = f(X, β). Analyysin suorittamiseksi mallin funktiomuoto f pitää määrittää. Yleisimmin käytetään lineaarista mallia. Regressioanalyysissa lasketaan vastemuuttujan Y odotusarvo ehdolla selittävät tekijät X ja valitaan parametrit β siten, että mallin ennusteet vastaavat mahdollisimman hyvin havaittuja vastemuuttujan Y arvoja. Tuloksena saadaan mallin parametrien β arviot eli estimaatit. Ennustettujen ja havaittujen arvojen etäisyyttä minimoidaan eri tavoin riippuen estimointimenetelmästä. Yleisimmin käytetään pienimmän neliösumman menetelmää.

Pääartikkeli: Lineaarinen regressioanalyysi

Kun tehdään tavallinen lineaarinen regressioanalyysi skalaarimuuttujille X ja Y, oletetaan että E(Y|X) = aX + b. Tämän funktion estimaatti on y* = a*X + b*, missä a* ja b* ovat aineistosta oletettavat regressiokertoimet, a* = Cov(X,Y) / Var(X), ja b* = Keskiarvo(Y) - a*Keskiarvo(X).

(Integroituva) satunnaismuuttuja/vektori Y voidaan yleisesti kirjoittaa hajotelmana Y = E(Y|X) + u. Tällöin E(Y|X) on regressiofunktio, joka pyritään laskemaan, ja u on satunnaisvaihtelua, jonka määritelmä on yksinkertaisesti u:= Y - E(Y|X). Riippuu E(Y|X):n ja u:n tapauskohtaisista ominaisuuksista (E(Y|X):n funktioluokka, sileys ym.; u:n varianssi, mahdollinen autokorrelaatiorakenne ym.), pystytäänkö regressioanalyysia soveltamaan, ja mikä analyysimenetelmä on suositeltavin.

Regressioanalyysin menetelmiä ovat muun muassa:

• Epälineaarinen malli
• Yleistetty lineaarinen malli
• Kvantiiliregressio
• Ei-parametrinen regressioanalyysi
• Yleistetty additiivinen malli

• Regressioepäjatkuvuusasetelma

Wikimedia Commonsissa on kuvia tai muita tiedostoja aiheesta Regressioanalyysi.

• Sykes, A.O. "An Introduction to Regression Analysis" (Arkistoitu – Internet Archive) (Inaugural Coase Lecture)