neuroproject.ru

[comm]

Приветствую!
Я пишу программу по моделированию ИНН, при реализации у меня возник следующий вопрос реализации BackPropogation:
На сколько я понимаю BackPropogation - это градиентный метод, это означает, что каждый шаг обучения ведет в сторону антиградиента, то есть должен приводить к уменьшению ошибки целевой функции. Но при анализе процесса обучения я иногда(!) наблюдаю появление "горбов" при в функции ошибки. Часто этот эффект усиливается при перемешивании обучающих векторов на каждом шаге. Также значительно чаще это явление встречается при пакетном обучении нежели при адаптации.
Теперь собственно вопрос:
Является ли это артефактом BP (в следствии искажения его градиентной сущности, для обучения ИНН) или это ошибка в моей реализации алгоритма?
[/img]

[Victor G. Tsaregorodtsev]

Если всё запрограммировано правильно - то эффект увеличения ошибки может возникать из-за слишком большого значения шага обучения. Уменьшите размер шага (в 2-10 раз) и попробуйте снова.

Почему в худшую сторону влияет перемешивание... Скорее всего - именно из-за завышенного шага, когда два-три случайно собравшихся подряд примера сильно далеко вышибают значения весов сети в какую-то неприятную для дальнейшего градиентного спуска сторону.

Ну а по рисунку видно, что сеть ничему не учится. Хотя, конечно, если эта сеть была из одного нейрона - тогда всё получилось правильно, а вот если в сети был скрытый слой нейронов - то где-то в бэкпропе случилась ошибка. Колебания ошибки вверх-вниз на этом графике - это "естественное" поведение при попримерном обучении и ничему не обучающейся сети (т.е. я надеюсь, что под горбами в функции ошибки Вы понимали всё же иную картину).
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование

[comm]

Да действительно, на появление горбов влияет параметр скорости обучения! Спасибо

А на рисунке изображен график обучения достаточно сложной сети с 2я скрытыми слоями, как не странно такой график получается только при пакетном обучении. При менее сложных топологиях и при поштучном обучении такого не наблюдается...