O campo da aprendizaxe estatística refírese ás ferramentas matemáticas empregadas para predicir ou estimar un resultado basándose nunha serie de entradas; é dicir, obter output a partir de datos considerados input. Estas ferramentas considéranse supervisadas ou non-supervisadas segundo a disposición do output (nunha aprendizaxe estatística non-supervisada trátase de obter relacións e estructurar os datos, pois non se dispón de output para clasificalos). ^[1]

Cando os datos sometidos a análise involucran variables continuas ou cuantitativas, é común referirse ás técnicas de aprendizaxe estatística como ferramentas de regresión. Non obstante, tamén hai casos nos que o resultado a predicir non posúe un valor numérico (variables categóricas ou cualitativas). Este tipo de problemas considéranse de clasificación supervisada.

Respecto ás situacións nas que só temos datos de input sen relación aparente, é común agrupar aos individuos de estudo en grupos de acordo ás diferentes características observadas nas variables das que se dispón. O problema de agrupar individuos denomínase clustering e, a diferenza da clasificación supervisada, non trata de predicir o valor dunha variable, senón "xerar" o propio output nunha nova clasificación de individuos. Os grupos finais serán considerados clústers. Entre os diferentes métodos de agrupamento encóntranse os métodos de partición (algoritmo K-medias), os métodos xerárquicos e os caza-grupos (Mean-Shift, DBSCAN).

Para levar a cabo este tipo de análise, os estatística estuda miles de variables que esconden as verdaderas relacións entre os datos ou individuos. Na aprendizaxe estatística é común facer uso de técnicas como compoñentes principais, que reducen significativamente a dimensión dos datos e melloran a visualización dos mesmos permitindo gráficos en dúas dimensións. Esta técnica supón a perda de certa variabilidade dos datos ao tratar de condensar múltiples variables nunhas poucas (na maioría dos caos dous).

O termo aprendizaxe estatística adoita asociarse ao auxe de sistemas complexos como redes neuronais e sistemas de intelixencia artificial que dispoñen de múltiples datos a través de Internet. Con todo, os seus sustentos teóricos orixináronse no século XIX de mans de diversos matemáticos e informáticos que, sen sabelo, abriron as posibilidades desta área de coñecemento.

A comezos do século XIX, Legendre e Gauss publicaron papers relacionados co célebre método de mínimos cadrados, que á súa vez abriu as portas do que se coñece como regresión linear. As primeiras aplicacións centráronse en problemas de astronomía, pero pronto empezaron a considerarse outras aproximacións. Entre elas, destaca a predición de valores cuantitativos, como o salario dun individuo dependendo da súa idade, sexo, localidade e estudos.

En canto á clasificación supervisada, Fisher propuxo o método de análise lineal discriminante en 1936. O obxectivo era predicir valores cualitativos, como a supervivencia dun paciente que padece unha enfermidade ou as subidas e baixadas do mercado. Nos anos 40 emerxeu unha formulación alternativa chamada regresión loxística. Nos 70's, Nelder e Wedderburn acuñaron o termo modelos lineais xeneralizados para referirse a unha familia enteira de métodos estatísticos.

Os escenarios non-lineais foron considerados como "problemáticos" para os científicos dos anos 70. Daquela, o axuste de métodos non-lineais non era factible computacionalmente. Afortunadamente, a tecnoloxía de computación dos anos 80 permitiu que Breiman, J. Friedman, Olshen e Stone introduciran ferramentas de clasificación e árbores de regresión. Entre as súas contribucións destacadas atópase a implementación práctica dos modelos así como a validación cruzada para seleccionar a mostra de adestramento e distinguila da de validación. No 1986, T. Hastie e R. Tibshirani acuñaron o termo modelos aditivos xeneralizados, que consisten en extensións non-lineais do modelo de regresión clásico.

A aprendizaxe automática aproveita a maoría de técnicas da estatística para mellorar o adestramento de modelos de regresión, clasificación e predición. Ademais, as técnicas estatísticas de análise da variabilidade dos datos permiten incrementar a eficiencia dos axustes e confeccionar mellores modelos.

Os métodos de aprendizaxe estatística establecen as bases para:

• Aprendizaxe supervisada.
• Aprendizaxe non supervisada.
• Aprendizaxe online.
• Aprendizaxe por reforzo.

A aprendizaxe ten dous obxectivos primordiais: inferencia e predición. Os problemas de aprendizaxe supervisada considéranse os máis sinxelos de entender e poñer en práctica.^[2] Neles, cada punto do conxunto de adestramento é un par (entrada-saída) ou (x,y) no que a entrada ten asignada unha saída específica. Chámase "aprendizaxe" ao procedemento mediante o cal se infire a función que relaciona entrada e saída, de forma que dita función poida empregarse para predicir a saída de entradas futuras (sen saída previamente asignada).

Os problemas de aprendizaxe supervisada son problemas de regresión ou de clasificación estatística. A diferenza reside na saída.

• Problema de regresión: saída cun rango continuo de valores.
• Problema de clasificación: saída cun rango discreto de valores.

Por exemplo, unha regresión podería ter o obxectivo de encontrar a relación funcional entre a voltaxe de entrada ${\displaystyle V}$ e a intensidade de corrente ${\displaystyle I}$ da lei de Ohm.

${\displaystyle V=IR}$

Por outra banda, nunha clasificación a saída toma a forma dun conxunto discreto de etiquetas. Este tipo de problemas é máis común na aprendizaxe automática. O recoñecemento facial é un problema de clasificación onde a imaxe da cara dunha persoa funcionaría como entrada, e a etiqueta de saída sería o nome de identificación. Neste caso a imaxe de entrada tería que codificarse mediante un vector multidimensional onde cada elemento representa un píxel da devandita imaxe.

É recomendable que tanto regresión como clasificación aprendan sobre un conxunto de datos de adestramento e empreguen outro conxunto de datos (datos de proba ou validación) para predicir ou clasificar, coa intención de evitar fenómenos de sobreaxuste.^[3]

Sexan ${\displaystyle n}$ as observacións dunha mostra xenérica, e ${\displaystyle p}$ o número de variables dispoñibles.

Dise que ${\displaystyle x_{i,j))$ representa o valor da variable j-ésima para a observación i-ésima, con ${\displaystyle i=1,2,...,n}$ e ${\displaystyle j=1,2,...,p}$.

Sexa ${\displaystyle X={\begin{pmatrix}x_{1,1}&x_{1,2}&\ldots &x_{1,p}\\x_{2,1}&x_{2,2}&\ldots &x_{2,p}\\\ldots &\ldots &\ldots &\ldots \\x_{n,1}&x_{n,2}&\ldots &x_{n,p}\end{pmatrix)).}$

Para cada observación cóntase cun vector ${\displaystyle x_{i))$ de lonxitude ${\displaystyle p}$ que contén os valores asociados ás ${\displaystyle p}$ variables para o individuo i-ésimo, é dicir

${\displaystyle x_{i}={\begin{pmatrix}x_{i,1}\\x_{i,2}\\\ldots \\x_{i,p}\end{pmatrix)).}$

Por outra banda, defínese ${\displaystyle y_{i))$ como a observación i-ésima da variable resposta (a que se pretende predicir). As ${\displaystyle n}$ observacións da variable escríbense nun vector como

${\displaystyle y={\begin{pmatrix}y_{1}\\y_{2}\\\ldots \\y_{n}\end{pmatrix)).}$

Desta forma, as observacións completas consisten en ${\displaystyle \{(x_{1},y_{1}),(x_{2},y_{2}),\ldots ,(x_{n},y_{n})\))$ sendo cada ${\displaystyle x_{i))$ un vector de lonxitude ${\displaystyle p}$.

Considérase, pois, cada columna da matriz ${\displaystyle X}$ como unha variable de input. A nomenclatura pode variar, pero o consenso é optar por un dos seguintes termos:

• Predictor
• Variable independente
• Variable explicativa

Para ${\displaystyle y}$, o común é empregar:

• Resposta
• Variable dependente
• Variable explicada

De observarse unha relación cuantitativa entre a variable resposta ${\displaystyle y}$ e os ${\displaystyle p}$ diferentes predictores, é común establecer unha relación entre ${\displaystyle y}$ e ${\displaystyle X=(X_{1},X_{2},\ldots ,X_{p})}$ da forma

${\displaystyle y=f(X)+\epsilon .}$

Sexa ${\displaystyle \epsilon }$ un termo de erro aleatorio, e ${\displaystyle f}$ a expresión dunha función descoñecida que actúa sobre ${\displaystyle X_{1},X_{2},\ldots ,X_{p))$.

A aprendizaxe estatística propón diferentes aproximacións á estimación de ${\displaystyle f}$, algunhas delas amplamente coñecidas como a regresión linear. Non obstante, o por qué estimar ${\displaystyle f}$ presenta dúas situacións claramente diferenciadas: predición e inferencia.

En situacións nas que se conta coa matriz de datos ${\displaystyle X}$, é común requirir do output ${\displaystyle y}$ no que se coñece como "predición da variable resposta". Pola hipótese de normalidade do erro ${\displaystyle \epsilon }$, a predición de ${\displaystyle y}$ resulta

${\displaystyle {\dot {y))={\dot {f))(X)}$,

onde ${\displaystyle {\dot {f))}$ representa a estimación de ${\displaystyle f}$ e ${\displaystyle {\dot {y))}$ a predición para ${\displaystyle y}$. A forma de ${\displaystyle {\dot {f))}$ é tipicamente descoñecida, e cada modelo en particular ocuparase de establecela. Así, en xeral enténdese ${\displaystyle {\dot {f))}$ como unha caixa negra.

Ao predicir, é importante distinguir entre dous tipos de erro: o reducible e o irreducible.

• O erro reducible é potencialmente mellorable, xa que ${\displaystyle {\dot {f))}$ pode non ser un estimador perfecto de ${\displaystyle f}$ causando inexactitudes. Unha selección apropiada de técnicas de aprendizaxe estatística é capaz de mellorar a estimación e reducir este erro.
• O erro irreducible é, como o seu nome indica, implícito ao propio modelo. Unha perfecta estimación da forma ${\displaystyle {\dot {y))=f(X)}$ non podería reemplazar o papel de ${\displaystyle \epsilon }$, pois ${\displaystyle y}$ é calculada en función do propio erro por definición.

O erro irreducible pode estar influenciado por variables que non se encontran entre as ${\displaystyle p}$ de ${\displaystyle X}$, xa que a cantidade ${\displaystyle \epsilon }$ contén unha variación que non é posible medir.

Dada a predición ${\displaystyle {\dot {y))={\dot {f))(X)}$, é demostrable que

${\displaystyle \mathrm {E} (Y-{\dot {Y)))^{2}=\mathrm {E} [f(X)+\epsilon -{\dot {f))(X)]^{2}=[f(X)-{\dot {f))(X)]^{2}+Var(\epsilon )}$

sendo ${\displaystyle \mathrm {E} [f(X)-{\dot {f))(X)]^{2))$ o valor esperado da diferenza cuadrática entre a resposta predita e o valor real de ${\displaystyle y}$.

A varianza estatística de ${\displaystyle \epsilon }$ considerase a parte "irreducible" da expresión.

Cando o obxectivo da análise non é predicir ${\displaystyle y}$ a partir de ${\displaystyle X_{1},X_{2},\ldots ,X_{p))$ senón achar a forma en que a variable resposta é afectada polas ${\displaystyle p}$ variables, fálase de inferencia. ${\displaystyle {\dot {f))}$ toma o papel de caixa negra e a meta é obter a súa forma exacta. O método co que proceder depende dunha serie de cuestións.

• Predictores asociados á resposta (identificar os máis importantes).
• Relación entre a resposta e cada predictor.
• Linealidade ou non-linealidade da relación entre ${\displaystyle y}$ e cada predictor (repercute directamente na complexidade do modelo).

Os métodos de aprendizaxe estatística buscan aprender do conxunto de datos de adestramento para estimar a función descoñecida ${\displaystyle f}$, é dicir, atopar ${\displaystyle {\dot {f))}$ tal que ${\displaystyle y\approx {\dot {f))(X)}$ para calquera observación ${\displaystyle (X,y)}$.

1. Asunción de forma para ${\displaystyle f}$. O máis sinxelo é asumir que ${\displaystyle f}$ é lineal en ${\displaystyle X}$. Exemplo:${\displaystyle f(X)=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\ldots +\beta _{p}X_{p))$.
2. Adestramento ou axuste do modelo. No caso lineal, será suficiente con estimar os ${\displaystyle p+1}$ coeficientes ${\displaystyle \beta _{0},\beta _{1},\ldots ,\beta _{p))$, é dicir, ${\displaystyle y\approx \beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\ldots +\beta _{p}X_{p))$. Para tal caso, adóitanse empregar métodos como mínimos cadrados.

O concepto de modelo paramétrico simplifica estimar ${\displaystyle f}$ a estimar un conxunto de ${\displaystyle p+1}$ parámetros. Con todo, córrese o risco de sobresimplificar o problema ao tentar encaixar a estimación nunha forma de ${\displaystyle f}$ non verdadeira.

Os modelos flexibles son máis complexos ao tratar diferentes formas funcionais para ${\displaystyle f}$. En xeral, incurren en overfitting (sobreaxuste) e adáptanse demasiado ao ruído dos datos.

1. Non asunción de forma explícita para ${\displaystyle f}$.
2. Procura de estimacións sen restriccións de forma.

A principal desvantaxe é que se requiren de moitas observacións para poder atopar unha estimación precisa. Unha posible aproximación son as TPS (Thin Plate Splines) basándose en interpolación e smoothing, mais o risco de sobreaxuste aumenta considerablemente.

Por que empregar métodos restrictivos fronte aos que permiten maior flexibilidade?

A estimación de ${\displaystyle f}$ expón dúbidas en canto á aproximación a tomar, que pode ser flexible ou restritiva. Un caso disto último sería a regresión linear, onde só podemos xerar rectas de regresión. Outros modelos como as TPS permiten un axuste a un rango amplo de formas. Con todo, os modelos restritivos adóitanse interpretar moito máis facilmente. Se a inferencia é o obxecto do estudo estatístico, restrinxir a forma simplifica a comprensión da relación entre ${\displaystyle y}$ e as variables ${\displaystyle X_{1},X_{2},\ldots ,X_{p))$.

De feito, modelos de regresión como o lasso favorecen a interpretación dos resultados ao tratar de establecer varios dos coeficientes ${\displaystyle \beta _{0},\beta _{1},\ldots ,\beta _{p))$ a cero. En cambio, dentro dos modelos aditivos xeneralizados (siglas GAM, de Generalized Additive Models en inglés) proponse unha flexibilidade maior que permite relacións non-lineais. Pola contra, estas adoitan ser moito máis difíciles de explicar, onde a relación entre cada predictor e a resposta é unha curva.

SVMs (Support Vector Machines), bagging e boosting funcionan como kernels non-lineais que dificultan a interpretación dos modelos á conta de ser máis flexibles.

As dúas categorías principais nas que recaen a maior parte de problemas de aprendizaxe estatística son aprendizaxe supervisada e aprendizaxe non supervisada.

Cando para cada observación ${\displaystyle x_{i},i=1,\ldots ,n}$ temos unha resposta ${\displaystyle y_{i))$ asociada, fálase dun problema de aprendizaxe supervisada se o obxectivo para futuras observacións é predicir o valor da variable resposta. Entre os diferentes métodos a empregar atópanse:

• Regresión linear
• Regresión loxística
• Modelos Aditivos Xeneralizados (GAM)
• Boosting
• Support Vector Machines (SVMs)

Nunha situación na que se dispón dun vector de medidas ${\displaystyle x_{i},i=1,\ldots ,p}$ sen resposta ${\displaystyle y_{i))$ asociada, fálase de aprendizaxe non supervisada se a intención é xuntar as observacións (datos iniciais) en grupos. Unha das principais técnicas é o clustering, que aínda que pode resultar sinxelo para dúas variables, resulta en ${\displaystyle p(p-1)/2}$ diagramas de dispersión para ${\displaystyle p}$ variables, o que dificulta en gran medida a identificacións dos clústers.

No caso de contar cun conxunto de datos (${\displaystyle n}$ observacións) cun subconxunto ${\displaystyle m<n}$ dos mesmos para os que se dispón dos valores da variable resposta, ${\displaystyle n-m}$ desas observacións non contan cun valor da resposta. O conxunto de datos podería considerarse, pois, a base dun problema de aprendizaxe semisupervisada.

A precisión (accuracy) dun modelo estatístico trata de medir a mellor aproximación no momento de seleccionar un procedemento de aprendizaxe.

Mide a calidade do axuste cuantificando a media das diferenzas cuadráticas entre os valores reais (${\displaystyle y_{i))$) e as predicións ${\displaystyle {\dot {f))(x_{i})}$.

${\displaystyle MSE=1/n*\Sigma _{i=1}^{n}(y_{i}-{\dot {f))(x_{i}))^{2))$,

con ${\displaystyle MSE}$ pequeno cando a resposta predita está próxima ao valor real.

No obstante, o ${\displaystyle MSE}$ de adestramento resulta poco útil a propósitos de análise. O obxectivo é aplicar esta medida sobre datos completamente novos e comprobar a desviación da predición respecto ao valor real, non sobre datos que xa coñecemos polo proceso de adestramento.

É dicir, para observacións de adestramento

${\displaystyle \{(x_{1},y_{1}),(x_{2},y_{2}),\ldots ,(x_{n},y_{n})\))$

compútase ${\displaystyle {\dot {f))(x_{1}),{\dot {f))(x_{2}),\ldots ,{\dot {f))(x_{n})}$ e se comparan cos valores reais da resposta ${\displaystyle y_{1},y_{2},\ldots ,y_{n))$.

Mais a comprobación

${\displaystyle {\dot {f))(x_{i})\approx y_{i))$

non é de interese, senón minimizar a diferenza aproximada entre ${\displaystyle {\dot {f))(x_{0})}$ e ${\displaystyle y_{0))$.

Así,

${\displaystyle Ave(y_{0}-{\dot {f))(x_{0}))^{2))$

para observacións test do tipo ${\displaystyle (x_{0},y_{0})}$ resulta unha medida de precisión máis adecuada que o ${\displaystyle MSE}$ de adestramento.

Non obstante, contar con datos de test é unha dificultade engadida ao problema, polo que comunmente recórrese ao método de validación cruzada para estimar o ${\displaystyle MSE}$ de test empregando parte do conxunto de datos de adestramento.

É posible descompoñer o ${\displaystyle MSE}$ esperado para un certo valor ${\displaystyle x_{0))$ como a suma de tres cantidades.

${\displaystyle E(y_{0}-{\dot {f))(x_{0}))^{2}=Var({\dot {f))(x_{0}))+[Sesgo({\dot {f))(x_{0}))]^{2}+Var(\epsilon )}$.

• ${\displaystyle E(y_{0}-{\dot {f))(x_{0}))^{2))$ funciona como o ${\displaystyle MSE}$ de test esperado.
• Ao estimar ${\displaystyle f}$ repetidamente para todos os valores posibles de ${\displaystyle x_{0))$ contidos no conxunto de datos de test obtense o ${\displaystyle MSE}$ total de validación.
• A descomposición en Sesgo e Varianza establece que para minimizar o erro esperado de test é necesario un método estatístico de aprendizaxe que aspire a baixa varianza e baixo sesgo (ambas cantidades sempre son non negativas).

Ademais, o ${\displaystyle MSE}$ esperado nunca estará por baixo de ${\displaystyle Var(\epsilon )}$

• Varianza: cantidade na que cambiaría ${\displaystyle {\dot {f))}$ se estimásemos cun conxunto de datos de adestramento diferente.
• Sesgo: erro introducido pola aproximación dun problema real que non é modelable de forma sinxela.

Por regla xeral, os métodos flexibles aumentan a varianza e diminúen o sesgo. O balance Sesgo-Varianza (bias-variance trade-off) é unha medida do axuste dun modelo, pois é sinxelo atopar métodos con alta varianza e sesgo baixo (unha curva que pasase por cada punto das observacións) ou viceversa (liña horizontal aos datos).

Con ${\displaystyle y_{i))$ non numérico (é dicir, variable resposta cualitativa) o concepto de balance Sesgo-Varianza tradúcese a un problema de clasificación.

Cóntase con oservacións ${\displaystyle \{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\))$ con ${\displaystyle y_{1},\ldots ,y_{n))$ variables cualitativas.

Así, a precisión mídese coa taxa de erro

${\displaystyle 1/n*\Sigma _{i=1}^{n}I(y_{i}\neq {\dot {y))_{i})}$

con ${\displaystyle I}$ variable indicadora tal que ${\displaystyle I(y_{i}\neq {\dot {y))_{i})=1}$ se ${\displaystyle y_{i}\neq {\dot {y))_{i))$, 0 noutro caso.

Cando ${\displaystyle I(y_{i}\neq {\dot {y))_{i})=0}$ a observación clasificouse correctamente.

Non obstante, o previamente descrito é o erro de adestramento, mais o que resulta de maior interese para medir a precisión do modelo é o erro de test, o cal se asocia cun conxunto de observacións da forma ${\displaystyle (x_{0},y_{0})}$.

Sexa ${\displaystyle {\dot {y))_{0))$ a clase predita para o individuo ${\displaystyle x_{0))$. Deste modo

${\displaystyle Ave(I(y_{0}\neq {\dot {y))_{0}))}$

emprégase como clasificador.

A forma máis común de minimizar a taxa de erro nun problema de clasificación é mediante o clasificador de Bayes, que asigna a cada observación a clase á que é máis probable que pertenza basándose nos valores preditos dados. É dicir, localizar a clase ${\displaystyle j}$ que fai

${\displaystyle Pr(y=j|X=x_{0})}$ (probabilidade condicionada)

o valor máis alto posible.

• Exemplo con dúas clases: bastaría con saber se ${\displaystyle Pr(y=1|X=x_{0})>0.5}$. En caso afirmativo, a predición sería a primeira clase. En caso contrario, a segunda ${\displaystyle (y=2)}$.

A taxa de erro bayesiana global resulta ${\displaystyle 1-E(max_{j}Pr(y=j|X)))}$, e é análoga ao erro irreducible.

Cabe a posibilidade de que se descoñeza a distribución condicional de ${\displaystyle y}$ dado ${\displaystyle X}$. Isto imposibilita calcular a taxa de erro a través do clasificador de Bayes.

A aproximación máis habitual é estimar a distribución condicional de ${\displaystyle y}$ coñecido ${\displaystyle X}$ e, posteriormente, asignar á observación con probabilidade máis alta.

Dado un enteiro positivo ${\displaystyle K}$ e unha observación test ${\displaystyle x_{0))$, o clasificador KNN identifica os ${\displaystyle K}$ puntos do conxunto de datos de adestramento máis próximos a ${\displaystyle x_{0))$. Considérese ${\displaystyle N_{0))$ este conxunto.

${\displaystyle Pr(y=j|X=x_{0})=1/K*\Sigma _{i\in N_{0))I(y_{i}=j)}$,

estima a probabilidade condicionada para a clase ${\displaystyle j}$ como a fracción de puntos de ${\displaystyle N_{0))$ que teñen valores de resposta iguais a ${\displaystyle j}$.

Despois, o algoritmo de KNN procede aplicando a regra de Bayes e clasificando a observación de test (${\displaystyle x_{0))$) na clase que conte coa maior probabilidade.

Un dos problemas máis importantes da aprendizaxe automática é o sobreaxuste. O obxectivo da maior parte de procesos de aprendizaxe é predicir, pero ás veces non convén encontrar a función que máis se axuste os datos previamente observados, senón unha que prediga ben datos futuros.

• O sobreaxuste é síntoma de solucións inestables, onde unha pequena perturbación nos datos do conxunto de adestramento provoca unha gran variación na función aprendida.
• Unha solución estable (función que non incurre en overfitting) garantiza xeralidade e coherencia.^[4][5]

A regularización pode resolver o problema do sobreaxuste e estabilizar o problema.

• Unha forma sería restrinxir o espazo de hipóteses ${\displaystyle H}$ a funcións lineais (limita o problema á regresión linear).
• Alternativamente, solucións de maior complexidade consisten no emprego de polinomios de grao ${\displaystyle p}$, exponenciais ou funcións acotadas en ${\displaystyle L1}$.

Restrinxir o espazo de hipótese evita o sobreaxuste porque limita a forma das funcións e impide elixir unha función de risco empírico arbitrariamente preto a cero.

Un exemplo de regularización é a regularización de Tíjonov. Nela, minimízase:

${\displaystyle {1 \over n}*\Sigma _{i=1}^{n}V(f(x_{i}),y_{i})+{\gamma \lVert f\rVert }_{H}^{2))$

sendo ${\displaystyle V(f(x_{i}),y_{i})}$ a función de perda escollida e ${\displaystyle \gamma }$ un parámetros de regularización (positivo e fixo).^[6]

Considerando un clasificador binario ${\displaystyle f:X\rightarrow \{0,1\))$, pódese aplicar a desigualdade de Hoeffding para limitar a probabilidade de que o risco empírico tome unha desviación do risco real a unha distribución subgaussiana.

${\displaystyle \mathbb {P} (|{\hat {R))(f)-R(f)|\geq \epsilon )\leq 2e^{-2n\epsilon ^{2))}$

Por regra xeral, a minimización empíria do risco non obriga a empregar un clasificador, senón que hai que elixilo. Por tanto, é útil limitar a probabilidade do supremo da diferenza sobre toda a clase.

${\displaystyle \mathbb {P} {\bigg (}\sup _{f\in {\mathcal {F))}|{\hat {R))(f)-R(f)|\geq \epsilon {\bigg )}\leq 2S({\mathcal {F)),n)e^{-n\epsilon ^{2}/8}\approx n^{d}e^{-n\epsilon ^{2}/8))$

Onde

• ${\displaystyle S({\mathcal {F)),n)}$ número de fragmentación.
• ${\displaystyle n}$ número de mostras do conxunto de datos de adestramento.

O termo exponencial procede de Hoeffding, pero hai un custo adicional por tomar o supremo sobre toda a clase, o devandito número de fragmentación.

• Regresión linear
• Aprendizaxe automática
• Clasificación estatística
• Análise de compoñentes principais
• Análise de regresión estatística

1. ↑ James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert, eds. (2013). An introduction to statistical learning: with applications in R. Springer texts in statistics. New York: Springer. ISBN 978-1-4614-7137-0. OCLC 828488009. 
2. ↑ Tomaso Poggio, Lorenzo Rosasco, et al. (2012). Statisical Learning Theory and Applications. Class 1.
3. ↑ "Clasificación en machine learning: Introducción". DataCamp. Consultado o 04/09/2024. 
4. ↑ Vapnik, V.N (1971). "On the uniform convergence of relative frequencies of events to their probabilities". Theory of Probability and Its Applications 16. 
5. ↑ Mukherjee, Sayan; Niyogi, Partha; Poggio, Tomaso; Rifkin, Ryan (2006-07). "Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization". Advances in Computational Mathematics (en inglés) 25 (1-3): 161–193. ISSN 1019-7168. doi:10.1007/s10444-004-7634-z. 
6. ↑ Tomaso Poggio, Lorenzo Rosasco, et al. (2012). Statistical Learning Theory and Applications. Class 2.

• G. James, D. Witten, T. Hashie, R. Tibshirani. "An Introduction to Statistical Learning with Applications in R". Ed. 1, New York: Springer, 2013. ISBN 978-1-4614-7137-0.
• T. Hastie, R. Tibshirani, J. Friedman. "The elements of statistical learning: data mining, inference, and prediction". Ed. 2, New York: Springer, 2009. ISBN 978-0-3878-4857-0.