Questa voce sull'argomento matematica applicata è solo un abbozzo.

Contribuisci a migliorarla secondo le convenzioni di Wikipedia.

La regola delta (delta rule) è una regola di discesa del gradiente per aggiornare i pesi dei segnali di input che giungono ad un percettrone.^[1] Si tratta di un caso particolare del più generale algoritmo di retropropagazione.

Per un neurone ${\displaystyle j}$ con una funzione d'attivazione ${\displaystyle g(x)}$, la regola delta per l'${\displaystyle i}$-esimo peso ${\displaystyle w_{ji))$ è data da

${\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i))$,

dove

	${\displaystyle \alpha }$ è una costante piccola chiamata tasso di apprendimento (learning rate)
	${\displaystyle g(x)}$ è la funzione d'attivazione del neurone e ${\displaystyle g'}$ la sua derivata
	${\displaystyle t_{j))$ è l'output desiderato
	${\displaystyle h_{j))$ è la somma pesata degli input al neurone
	${\displaystyle y_{j))$ è l'output vero
	${\displaystyle x_{i))$ è l'${\displaystyle i}$-esimo input.

Valgono: ${\displaystyle h_{j}=\sum x_{i}w_{ji))$ e ${\displaystyle y_{j}=g(h_{j})}$.

La regola delta è spesso semplificata se la funzione d'attivazione è lineare come

${\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})x_{i))$

mentre la regola delta è simile alla regola di aggiornamento del percettrone, come si ricava la regola è diverso. Il percettrone usa la funzione gradino di Heaviside come funzione d'attivazione ${\displaystyle g(h)}$, il che significa che ${\displaystyle g'(h)}$ non esiste in zero, e che è uguale a zero altrove, e ciò rende l'applicazione diretta della regola impossibile.

La regola delta si ricava a partire dalla minimizzazione dell'errore sull'output della rete neurale tramite la discesa del gradiente. L'errore per una rete neurale con ${\displaystyle j}$ output può essere misurato come

${\displaystyle E=\sum _{j}{\frac {1}{2))(t_{j}-y_{j})^{2))$.

In questo caso, occorre muoversi nello "spazio dei pesi" del neurone (lo spazio di tutti i valori che possono assumere i pesi) in proporzione al gradiente della funzione d'errore rispetto a ogni peso. Per fare ciò, si calcola la derivata parziale dell'errore rispetto a ogni peso. Per l'${\displaystyle i}$-esimo peso, la derivata è

${\displaystyle {\frac {\partial E}{\partial w_{ji))}={\frac {\partial \left({\frac {1}{2))\left(t_{j}-y_{j}\right)^{2}\right)}{\partial w_{ji))))$.

dove è stata omessa la sommatoria siccome la derivata è relativa al ${\displaystyle j}$-esimo neurone.

Il calcolo procede con l'applicazione della regola della catena:

${\displaystyle ={\frac {\partial \left({\frac {1}{2))\left(t_{j}-y_{j}\right)^{2}\right)}{\partial y_{j))}{\frac {\partial y_{j)){\partial w_{ji))}=-\left(t_{j}-y_{j}\right){\frac {\partial y_{j)){\partial w_{ji))))$

mentre la derivata rimanente si calcola ancora con la regola della catena, ma derivando rispetto all'intero input di ${\displaystyle j}$, ovvero ${\displaystyle h_{j))$:

${\displaystyle =-\left(t_{j}-y_{j}\right){\frac {\partial y_{j)){\partial h_{j))}{\frac {\partial h_{j)){\partial w_{ji))))$

Si noti che l'output del ${\displaystyle j}$-esimo neurone, ${\displaystyle y_{j))$, è semplicemente la funzione d'attivazione ${\displaystyle g}$ del neurone applicata al suo input ${\displaystyle h_{j))$. Si può quindi scrivere la derivata di ${\displaystyle y_{j))$ rispetto a ${\displaystyle h_{j))$ semplicemente come la derivata prima di ${\displaystyle g}$:

${\displaystyle =-\left(t_{j}-y_{j}\right)g'(h_{j}){\frac {\partial h_{j)){\partial w_{ji))))$

A questo punto, si riscrive ${\displaystyle h_{j))$ nell'ultimo termine come la somma su tutti i ${\displaystyle k}$ pesi di ogni peso ${\displaystyle w_{jk))$ moltiplicati per il loro input corrispondente ${\displaystyle x_{k))$:

${\displaystyle =-\left(t_{j}-y_{j}\right)g'(h_{j}){\frac {\partial \left(\sum _{i}x_{i}w_{ji}\right)}{\partial w_{ji))))$

Poiché interessa solamente l'${\displaystyle i}$-esimo peso, l'unico termine della sommatoria che è rilevante è ${\displaystyle x_{i}w_{ji))$. Chiaramente,

${\displaystyle {\frac {\partial x_{i}w_{ji)){\partial w_{ji))}=x_{i))$,

portando all'equazione finale per il gradiente:

${\displaystyle {\frac {\partial E}{\partial w_{ji))}=-\left(t_{j}-y_{j}\right)g'(h_{j})x_{i))$

Come evidenziato sopra, la discesa del gradiente dice che la variazione di ciascun peso deve essere proporzionale al gradiente La scelta di una costante di proporzionalità ${\displaystyle \alpha }$ e l'eliminazione del segno meno (siccome si cerca la direzione che diminuisce il gradiente), permettono di arrivare all'equazione cercata:

${\displaystyle \Delta w_{ji}=\alpha (t_{j}-y_{j})g'(h_{j})x_{i))$.

• Tom Mitchell, Machine Learning, McGraw Hill, 1997.
• Ben Krose, Patrick van der Smagt, An Introduction to Neural Networks, The University of Amsterdam

• Discesa del gradiente
• Least Mean Square
• Percettrone
• Rete neurale artificiale

Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica