neuroproject.ru

[Oleg Agapkin]

Описание взято из книги А.А. Ежова и С.А. Шумского "Нейрокомпьютинг и его применения в экономике и бизнесе".

Обозначим входы n-го слоя нейронов .
Нейроны этого слоя вычисляют соответствующие линейные комбинации:

и передают их на следующий слой, пропуская через нелинейную функцию активации (для простоты - одну и ту же, хотя это совсем не обязательно):


Для построения алгоритма обучения нам надо знать производную ошибки по каждому из весов сети:



Таким образом, вклад в общую ошибку каждого веса вычисляется локально, простым умножением невязки нейрона на значение соответствующего входа.

Входы каждого слоя вычисляются последовательно от первого слоя к последнему во время прямого распространения сигнала:

,

а невязки каждого слоя вычисляются во время обратного распространения ошибки от последнего слоя (где они определяются по выходам сети) к первому:



Последняя формула получена применением цепного правила к производной



и означает, что чем сильнее учитывается активация данного нейрона на следующем слое, тем больше его ответственность за общую ошибку.