Автор |
Сообщение |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вс Фев 13, 2011 1:08 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
спасибо! |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вс Фев 13, 2011 12:38 am Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Еще немаловажный пункт. На сколько я понял данный алгоритм позволяет осуществлять обучение как в онлайн режиме, так и по всей выборке. Это действительно так? Если да, то лучше остановиться на онлайн о ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Чт Фев 10, 2011 8:47 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Спасибо! Посомтрю обязательно |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Ср Фев 09, 2011 9:40 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Еще вопрос, какую лучше функцию активации использовать? И на всех ли слоях одну. Я читал, что оптимальной является гиперболический тангенс |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вт Фев 08, 2011 10:04 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Виктор Геннадьевич и снова здравствуйте)
Разобрался с сопряженными градиентами, пошел дальше. Осваиваю метод Левенберга - Марквардта. Опять много вопросов относительно того, что прочитал. Итак попо ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Ср Янв 12, 2011 8:02 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Большое спасибо за помощь, Виктор Геннадьевич! Буду сейчас разбираться с полученными сведлениями и править баги!) |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вт Янв 11, 2011 6:42 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
С функциями понятно - буду смотреть.
Да, именно об ошибке на тестовой выборке я и говорю. Из тех тестов, что я проводил, ошибку обучения можно свести к достаточно малым величинам. Но при этом ошибка ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вт Янв 11, 2011 3:46 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Ну мерял я по величине ошибки. То есть по количеству итераций, безусловно выигрывает метод сопряженных градиентов. Да и по времени тоже. Но вот ошибка либо соизмерима, лиюо хуже.
В этой связи возни ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вс Янв 09, 2011 11:05 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Сделал алгоритм. Возникает вопрос, как его лучше потестирвоать. На тех данных, что я пробовал он показывает себя, почему - то, также или хуже чем метод наискорейшего спуска! Воможно, я где то ошибся. ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Вс Янв 09, 2011 8:31 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Про градиент так и есть! Я описался просто. Все верно, сигнал на ошибку.
Огромное спасибо за исчерпывающие ответы! Вы очень помогли.Сейчас буду стараться реализовать. |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Сб Янв 08, 2011 9:22 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Еще поправка: если пользоваться алгоритмом обратного распространения, то мы получаем градиент в следующем виде g(w) = (dE/dw0, dE/dw1, ...), где фактическое значение производных вычисляется как произв ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Сб Янв 08, 2011 6:36 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Реализацией как раз занимаюсь в данный момент. Обучение делаю по все выборке. Интересный факт, что градиент тоже суммируется. Я предполагал, что необходимо вычислить суммарную ошибку по все выборке, и ... |
Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Filipp
Ответы: 20
Просмотры: 22746
|
Форум: Нейронные сети Добавлено: Пт Янв 07, 2011 8:35 pm Тема: Методы оптимизации функции ошибки при обучении нейросетей |
Кратко о проблеме: успешно реализовал слоистую нейронную сеть, использующую алгоритм обратного распространения ошибки. На сколько я понимаю, в данном алгоритме для оптимизации используется метод наиск ... |
|