Regreso (statistiko)

La plej frua formo de regreso estis la metodo de kvadrataj minimumoj (france: méthode des moindres carrés), kiu estis publikigita fare de la matematikistoj Adrien-Marie Legendre en 1805^[1], kaj de Carl Friedrich Gauss en 1809^[2] . Li ambaŭ uzis la metodon por la problemo kiel determini, el astronomiaj observaĵoj, la orbitojn de korpoj ĉirkaŭ la suno. Gauss publikigis pluevoluigon de la teorio de kvadrataj minimumoj en 1821^[3].

La termino "regreso" estis kreita de la brita scienculo Francis Galton, en la deknaŭa jarcento, por priskribi biologian fenomenon. Tia fenomeno estis la observado kiel la alto de posteuloj de altaj prapatroj tendencas regresi (malkreski) al normala meznombro (fenomeno ankaŭ konata kiel regreso al laŭnorma).^[4][5] Por Galton, regreso havis nur tiun biologian signifon^[6][7], sed lia laboro estis poste etendita fare de Udny Yule and Karl Pearson al pli ĝenerala statistika kunteksto^[8][9]. En la laboro de Yule kaj Pearson, la komuna distribuo de la respondo kaj de la eksplikvariabloj estas supozita esti gaŭsa. Tiu supozo estis malfortigita fare de Ronald A. Fisher en liaj verkoj de 1922 kaj 1925^[10][11][12]. Fisher supozis, ke la kondiĉa distribuo de la respondovariablo estu gaŭsa, sed ne estu la komuna distribuo. Laŭ tiu aspekto, la supozo de Fisher estas pli proksima al la 1821-a formulado de Gauss.

Regresmetodoj daŭre estas areo da aktiva esplorado. En lastatempaj jardekoj, novaj metodoj estis evoluigitaj por fortika regreso: regreso kiu implicas korelaciitajn respondojn, kiel ekzemple temposerioj kaj kreskokurboj, regreso pri kiu prognozilo aŭ respondovariabloj estas kurboj, bildoj, grafeoj aŭ aliaj kompleksaj datumobjektoj, regresmetodoj alĝustigante diversajn specojn de mankaj datenoj, neparametra regreso, Bayesaj metodoj (laŭ la nomo de matematikisto Thomas Bayes), regresoj en kiuj la prognozilovariabloj estas laŭmezuraj kun eraroj, regreso kun pli da prognozilovariabloj ol observaĵoj, kaj kaŭza inferenco kun regreso.

Regresomodeloj implicas la sekvantajn variablojn:

• La nekonataj parametroj, notataj β, kiuj povas esti skalaro aŭ vektoro.
• La nedependaj variabloj, X.
• La dependa variablo, Y.

En diversaj kampoj, malsamaj terminologioj estas uzitaj anstataŭ dependaj kaj nedependaj variabloj.

Regresomodelo rilatigas Y al funkcio de X kaj β.

${\displaystyle Y\approx f(\mathbf {X} ,{\boldsymbol {\beta }})}$ 

La aproksimado estas kutime formaligita tiel E(Y | X) = f(X, β). Por trakti regresanalizon, la formo de la funkcio f devas esti precizigita. Foje la formo de tiu funkcio estas bazita sur scio pri la rilato inter Y kaj X, kiu ne originas de la datenoj. Se tia scio ne haveblas, fleksiĝema kaj oportuna formo por f estas elektita.

Supozu nun, ke la vektoro de nekonataj parametroj β estas je longo k. Por plenumi la regresanalizon la uzanto devas konsideri informojn pri la dependa variablo Y:

• Se N datenparoj (Y,X) estas observitaj, kie N < k, la plej klasikaj metodoj por regresanalizo ne povas esti aplikataj: ĉar la sistemo de ekvacioj difinante la regresomodelon estas subdeterminita, ekzistas ne sufiĉe da datenoj por bildigi β.
• Se precize N = k datenparoj estas observitaj, kaj la funkcio f estas lineara, la ekvacioj Y = f(X, β) povas esti precize solvataj. Tio reduktas solvi aron da N ekvacioj kun N nekonataĵoj (la elementoj de β), kiu havas unikan solvon, konsiderante ke la X estas lineare nedependaj. Se f estas nelineara, eblas ke solvo ne ekzistas, aŭ multaj solvoj povas ekzisti.
• La plej ofta situacio estas kiam N > k datenparoj estas observitaj. Pri tia kazo, ekzistas sufiĉe da informoj en la datenoj por taksi unikajn valorojn al β, kiuj plej bone kongruas kun la datenoj, kaj la regresomodelo, kiam aplikata al la datenoj, povas esti rigardata kiel superdeterminita sistemo pri β.

Rilate la lastan kazon, regreso disponigas ilojn por:

1. trovi solvon por nekonataj parametroj β, kiuj, ekzemple, minimumigas la ekartojn inter la laŭmezuraj kaj antaŭdiritaj valoroj de la dependa variablo Y (ankaŭ konata kiel metodo de kvadrataj minimumoj);
2. sub apartaj supozoj, la regreso uzas la kroman informon por trakti statistikan informon pri la nekonataj parametroj β, kaj pri la antaŭdiritaj valoroj de la dependa variablo Y.

Konsideru regresomodelon, kiu havas tri nekonatajn parametrojn, β₀, β₁, kaj β₂. Supozu, ke eksperimentisto traktas 10 mezurojn, ĉiujn kun precize la sama valoro de la nedependa variablovektoro X (kiu enhavas la nedependajn variablojn X₁, X₂, kaj X₃). Pri tiu kazo, la regresanalizo ne donas unikan aron da laŭtaksaj valoroj por la tri nekonatoj parametroj; la eksperimentisto ne akiris sufiĉe da informoj. La nura plej bona traktado estu taksi la mezvaloron kaj la norman diferencon de la dependa variablo Y. Simile, se mezuroj kun du malsamaj valoroj de X donus sufiĉe da datenoj pri regreso kun du nekonataĵoj, ili ne sufiĉus pri tri aŭ pli nekonataĵoj. Se la eksperimentisto estus traktinta mezurojn kun tri malsamaj valoroj de la nedependa variablovektoro X, tiam la regresanalizo disponigus unikan aron da taksoj por la tri nekonataj parametroj de β.

Koncerne ĝeneralan linearan regreson, ĉiusupra deklaro estas ekvivalenta al la neprigo, ke la matrico ${\displaystyle X^{T}}$ ${\displaystyle X}$  estu inversigebla (${\displaystyle X^{T}}$  estas la transponita matrico de la matrico ${\displaystyle X}$ , kies elementoj estas la aro de la N vektoroj X).

Kiam la nombro de mezuroj, N, estas pli granda ol la nombro de nekonataj parametroj, k, kaj la mezureraroj ${\displaystyle \epsilon _{i}}$  estas normale distribuitaj, tiam la eksceso de informoj enhavita en la kromaj (N - k) mezuroj permesas fari statistikajn prognozojn pri la nekonataj parametroj. Tiu eksceso da informoj estas referencata kiel la gradoj de libereco de la regreso.

Klasikaj supozoj por regresanalizo inkludas la sekvantajn.

• La specimeno valide reprezentas la loĝantaron por inferencoprognozo.
• La eraro estas hazarda variablo kun averaĝa nul-kondiĉo sur la eksplikvariabloj.
• La nedependaj variabloj estas mezuritaj kun neniu eraro. (Notu: se tio ne estas tiel, modeligado povas esti farita anstataŭe per uzo de taŭgaj modeloj pri variabloj kun eraroj).
• La prognoziloj estas lineare nedependaj, tio estas, ne eblas esprimi ajnan prognozilon per lineara kombinaĵo de la aliaj.
• La eraroj estas ne-korelaciitaj, t.e. la matrico de varianco-kunvarianco de la eraroj estas diagonala, kaj ĉiu ne-nula elemento estas la varianco de la eraro.
• La varianco de la eraro estas konstanta por ĉiu observita variablo. (Notu: se ne, oni povas anstataŭe trakti la metodon de laŭpezaj kvadrataj minimumoj aŭ aliajn metodojn).

Ili estas sufiĉaj kondiĉoj al la prognozo per la kvadrataj minimumoj por permesi dezirindajn trajtojn, aparte, tiaj supozoj implicas, ke la parametrotaksoj estos senantaŭjuĝaj, koheraj, kaj efikaj en klaso de linearaj senantaŭjuĝaj prognozo. Gravas noti, ke faktaj datenoj malofte konformiĝas al la supozoj; tio estas, la metodo estas uzata eĉ se la supozoj ne veras. Vario de la supozoj povas foje esti utiligata por taksi la plej taŭgan solvon. Raportoj pri statistikaj analizoj kutime inkludas analizojn de testoj pri la specimenaj datenoj kaj metodologion pri la utileco de la modelo.

 

 

En lineara regreso, la modelospecifo estas, ke la dependa variablo, ${\displaystyle y_{i}}$ , estas lineara kombinaĵo de la parametroj (sed malnepre estu lineara en la nedependaj variabloj). Ekzemple, pri la lineara polinoma regreso por modeligado de ${\displaystyle n}$  datenpunktoj ekzistas unu-dependa variablo ${\displaystyle x_{i}}$ , kaj ${\displaystyle m+1}$  parametroj ${\displaystyle \beta _{0}}$  ĝis ${\displaystyle \beta _{m}}$ , kaj rezultas:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\cdots +\beta _{m-1}x_{i}^{m-1}+\beta _{m}x_{i}^{m}+\varepsilon _{i},\quad i=1,\dots ,n.\!}$ 

(Notu: en multobla lineara regreso, estas pluraj nedependaj variabloj aŭ pluraj funkcioj de nedependaj variabloj).

La plej simplaj linearaj regresoj estas:

rekton: ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n;\!}$ 

per aldono de unu termo de grado 2, x_i², al la antaŭa regreso rezultas

parabolon: ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!}$ 

Tiu kvadrata funkcio estas ankoraŭ lineara regreso; malgraŭ ke la esprimo enhavas kvadratan termon rilatante al la sola nedependa variablo ${\displaystyle x_{i}}$ , ĝi estas lineara pri la parametroj ${\displaystyle \beta _{0}}$ , ${\displaystyle \beta _{1}}$  kaj ${\displaystyle \beta _{2}.}$ 

Pri ambaŭ kazoj, ${\displaystyle \varepsilon _{i}}$  estas erartermo, kaj la indico ${\displaystyle i}$  indikas apartan observon.

Konsiderante hazardan specimenon el loĝantaro, ni taksas la loĝantarparametrojn, kaj tiel akiras la specimenan linearan regresomodelon:

${\displaystyle {\widehat {y_{i}}}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.}$ 

La restaĵo, ${\displaystyle {\widehat {\varepsilon _{i}}}=y_{i}-{\widehat {y}}_{i}}$ , estas la diferenco inter la valoro de la dependa variablo antaŭdirita fare de la modelo, ${\displaystyle {\widehat {y_{i}}}}$ , kaj la observita valoro de la dependa variablo, ${\displaystyle y_{i}}$ . Unu metodo de taksado estas la ordinara metodo de kvadrataj minimumoj. Ĝi akiras la parametrojn, kiuj minimumigas la sumon de kvadrataj restaĵoj, SKR ,^[13][14]:

${\displaystyle SKR=\sum _{i=1}^{n}{\widehat {\varepsilon _{i}}}^{2}.\,}$ 

Minimumigo de tia funkcio gvidas al aro da ekvacioj, kiuj estas solvitaj por doni la parametrotaksojn: ${\displaystyle {\widehat {\beta }}_{0}}$  kaj ${\displaystyle {\widehat {\beta }}_{1}}$ .

Koncerne simplan regreson, la formuloj por la taksoj per la plej malgrandaj kvadratoj estas:

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {1}{n}}\sum _{i=1}^{n}{x_{i}}\sum _{j=1}^{n}{y_{j}}}{\sum _{i=1}^{n}({x_{i}^{2}})-{\frac {1}{n}}(\sum _{i=1}^{n}{x_{i}})^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}={\frac {\operatorname {cov} (X,Y)}{\operatorname {var} (X)}}=r_{xy}{\frac {s_{y}}{s_{x}}},\\[6pt]{\widehat {\beta _{0}}}&={\bar {y}}-{\widehat {\beta _{1}}}\,{\bar {x}}\ ,\end{aligned}}}$ 

${\displaystyle {\widehat {\beta _{1}}}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}{\text{ and }}{\widehat {\beta _{0}}}={\bar {y}}-{\widehat {\beta _{1}}}{\bar {x}}\ ,}$ 

kie ${\displaystyle {\bar {x}}}$  estas la meznombro (averaĝo) de la ${\displaystyle x}$  valoroj, kaj ${\displaystyle {\bar {y}}}$  estas la meznombro de la ${\displaystyle y}$  valoroj, ${\displaystyle r_{xy}}$  estas la specimena korelaciokoeficiento rilate al ${\displaystyle x}$  kaj ${\displaystyle y}$ , ${\displaystyle s_{x}}$  estas la specimena varianca devio de ${\displaystyle x}$ , and ${\displaystyle s_{y}}$  estas respektive la specimena varianca devio de ${\displaystyle y}$ . Horizontala baro super variablo signas specimenan averaĝon de tiu variablo; ekzemple, ${\displaystyle {\overline {xy}}={\tfrac {1}{n}}\textstyle \sum _{i=1}^{n}x_{i}y_{i}\ .}$ 

Anstataŭante la ĉisuprajn esprimojn pri ${\displaystyle {\hat {\beta _{0}}}}$  and ${\displaystyle {\hat {\beta _{1}}}}$  en la ekvacio de la rekto

${\displaystyle y={\hat {\beta _{0}}}+{\hat {\beta _{1}}}x,\,}$ 

kondukas al:

${\displaystyle {\frac {y-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}\ .}$ 

Tio indikas la rolon, kiun ${\displaystyle r_{xy}}$  ludas pri la regresrekto.

Sub la supozo, ke la termo de eraro pri la loĝantaro havas konstantan variancon, la takso de la varianco estas kalkulata per:

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SKR}{n-2}}.\,}$ 

Tiu estas nomita averaĝa kvadrata eraro de la regreso.

La normaj eraroj de la taksoj de parametroj estas kalkulataj per:

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}}$ 

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}\,.}$ 

Sub la plia kondiĉo, ke la termo de eraro pri la loĝantaro estas normale distribuita, esplorlaboranto povas uzi tiajn laŭtaksajn normajn erarojn, por krei fidointervalojn kaj implici hipotezotestojn pri la parametroj de la loĝantaro.

Pri pli ĝenerala multobla regresomodelo, estas p nedependaj variabloj:

${\displaystyle y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i},\,}$ 

kie ${\displaystyle x_{ij}}$  estas la i-a observo de la j-a nedependa variablo, kaj kie la unua nedependa variablo valoras 1 por ĉiu i (nur ${\displaystyle \beta _{1}}$  kiel unua termo) .

La takso de la parametroj per la plej malgrandoj kvadratoj akiriĝas per p normalaj ekvacioj; eblas skribi la restaĵoj tiel:

${\displaystyle {\widehat {\varepsilon _{i}}}=y_{i}-{\widehat {\beta }}_{1}x_{i1}-\cdots -{\widehat {\beta }}_{p}x_{ip}.}$ 

Por tio, oni elektas la sekvantan funkcion:

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}{\bigl |}y_{i}-\sum _{j=1}^{p}x_{ij}\beta _{j}{\bigr |}^{2}={\bigl \|}\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}{\bigr \|}^{2},}$ 

kiun oni minimumigas per kalkulo de ĝia derivaĵo. La kialo por elekti tiun kriterion estas, ke la problemo, kondiĉe ke la n kolumnoj de la matrico ${\displaystyle X}$  estu lineare nedependaj, kondukas al unika solvo de la sekvantaj normalajn ekvaciojn:

${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{p}xX_{ij}x_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}x_{ij}y_{i},\ j=1,\dots ,p;\,}$ 

laŭ matrica skribado, ili estas formulataj tiel:

${\displaystyle \mathbf {(X^{\top }X){\widehat {\boldsymbol {\beta }}}={}X^{\top }Y} ,\,}$ 

kie la ij elemento de ${\displaystyle X}$  estas ${\displaystyle x_{ij}}$ , la i elemento de la kolumna vektoro ${\displaystyle Y}$  estas ${\displaystyle y_{ij}}$ , kaj la j elemento de ${\displaystyle {\widehat {\beta }}}$  estas ${\displaystyle {\widehat {\beta }}_{j}}$ . Tial la respektivaj dimensioj de ${\displaystyle X}$ , ${\displaystyle Y}$  kaj ${\displaystyle {\widehat {\beta }}}$  estas n×p, n×1 kaj p×1. Kaj la solvo estas:

${\displaystyle \mathbf {{\widehat {\boldsymbol {\beta }}}={}(X^{\top }X)^{-1}X^{\top }Y} \,.\,}$ 

 

 

Regresomodeloj antaŭdiras valoron de la Y variablo koncerne konatajn valorojn de la X variablo. Prognozo ene de la intervalo de valoroj en la datenaro, kiuj estas uzitaj por alĝustiga modelo estas konata neformale interpolado. Prognozo ekster tiu vico de datenoj estas konata kiel ekstrapolado.

La plej konataj interpolaj metodoj estas la lineara interpolo kaj la polinoma interpolo, sed estas aliaj nelinearaj interpoloj (ekz. splina interpolo, kurbo de Bézier, polinomo de Lagrange, ktp).

Estas ĝenerale konsilite, ke, dum traktado de ekstrapolado, oni akompanu la laŭtaksan valoron de la dependa valoro kun prognozintervalo, kiu limigas la necertecon. Tiaj intervaloj tendencas disetendiĝi rapide kiam la valoroj de la nedependa(j) variablo(j) eksteriĝas el la intervalo de la observitaj datenoj.

Efikeco de la ekstrapolado forte dependas de la regresosupozoj. Ju pli la ekstrapolado iras ĝis fore ekster la datenaro, des pli estas risko de la modelo malsukcesi, pro diferencoj inter la supozoj kaj la specimenaj datenoj aŭ la veraj valoroj.

Pro tiaj kialoj kaj aliaj, iuj tendencas diri ke estu malprudenta entrepreni ekstrapoladon^[15].

Tamen, tio ne kovras la tutan aron de erarmodeligado, kiu eblas: aparte, la supozo de speciala formo por la rilato inter Y kaj X. Konvene kondukita regresanalizo inkludos takson de kiom bone la supozita formo kongruas kun la observitaj datenoj, sed oni povas nur fari tion ene de la intervalo de valoroj de la nedependaj variabloj fakte disponeblaj. Tiu scio inkludas la fakton, ke la dependa variablo ne povas estis ekster aparta vico da valoroj. Tielmaniere, ĉia ekstrapolado aparte fidas al la antaŭsupozoj pri la struktura formo de la regresrilato. La implicoj de tiu paŝo por elekti taŭgan funkcian formon de la regreso povas esti bonegaj, kiam ekstrapolado estas entreprenata. Minimume, tio certigas, ke tia ekstrapolado ekestiĝanta de alĝustigita modelo estas realisma (aŭ en akordo kun kio estas konita).

Kiam la procezo ne estas lineara rilate al la parametroj, (la parametroj estas funkcioj dependaj de X aŭ ne, ekz. ${\displaystyle \beta ^{2},e^{\beta x}}$ , ktp), modelofunkcio aproksimiĝas per tia ŝajna lineara funkcio:

${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f^{0}+\sum _{j}J_{ij}\beta _{j}}$ ,

kie ${\displaystyle J_{ij}={\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}}$ . La nelinearaj regresoj estas kalkulitaj kvazaŭ linearaj regresoj, pri kiuj X anstataŭiĝis per J, variablo dependa de ambaŭ X kaj ${\displaystyle {\boldsymbol {\beta }}}$ .

Algoritmoj por trovi solvon de nelineara regreso necesas elektadon de iniciatitaj parametrovaloroj (kio ne necesas pri lineara regreso). Konsekvente, la parametroj estas alĝustigitaj per ripeta procedo:

${\displaystyle \beta _{j}\approx {\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j}}$ ,

k estas ripeta nombro kaj ${\displaystyle \Delta \beta _{j}\,}$  la vektoro de aldonitaĵoj.

Pri kelkaj komunaj algoritmoj, en ĉiu k-a kalkulo la modelo estas lineare aproksimata per serio de Taylor de unua ordo rilate al ${\displaystyle {\boldsymbol {\beta }}^{k}\!}$ :

${\displaystyle {\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j=1}^{m}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-{\beta _{j}^{k}}\right)\\&\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j=1}^{m}J_{ij}\Delta \beta _{j}.\end{aligned}}\ .}$ 

La Jakobia matrico, J, estas funkcio de konstantoj, nedependaj variabloj kaj parametroj, do ĝi ŝanĝas de unu ripeta kalkulo al la sekvanta. La restaĵoj estas donitaj per:

${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})-\sum _{j=1}^{m}J_{ij}\Delta \beta _{j}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\Delta \beta _{j}}$ .

Por minimumigi la sumon de la kvadratoj de ${\displaystyle r_{i}}$ , la ekvacio de la derivaĵo estas nuligita por ${\displaystyle \Delta \beta _{j}\!}$ :

${\displaystyle -2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\Delta \beta _{j}\right)=0}$ ,

kio, post aranĝo, iĝas m samtempaj linearaj ekvacioj, la normalaj ekvacioj.

${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\Delta \beta _{k}=\sum _{i=1}^{n}J_{ij}\Delta y_{i}\qquad (j=1,\ldots ,m)\,}$ 

La normalaj ekvacioj estas formulataj laŭ matrica skribado tiel:

${\displaystyle \mathbf {\left(J^{T}J\right)\Delta {\boldsymbol {\beta }}=J^{T}\Delta y} .\,}$ 

Kontraŭe al linearaj regresoj, eblas ke ekzistas pluraj solvoj por la parametroj, kiuj nuligas la ĉisupra ekvacio de la derivaĵo.

Alia regresometodo estas segmenti la tutan studodomajnon; tiel oni elektas taŭgajn parametrojn en ĉiu segmento, kaj traktas linearan regreson por tiaj konsideritaj segmentoj (vidu ĉisupran interpoladon).

• Analizo al precipaj konsisteroj
• Korelacio
• Kunvarianco
• Prognozo
• Proksimuma kalkulado