Список форумов neuroproject.ru neuroproject.ru
Форум сайта компании НейроПроект
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Есть разница в каком порядке подавать примеры при обучении?

 
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети
Предыдущая тема :: Следующая тема  
Автор Сообщение
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Пт Сен 10, 2010 3:21 am    Заголовок сообщения: Есть разница в каком порядке подавать примеры при обучении? Ответить с цитатой

Вот такой заинтересовал вопрос. Есть нейросеть - бэкпроп. Есть 10 объектов для распознавания заданных в виде одномерного вектора, на выходе подаём правильный ответ (также в виде одномерного вектора).

На каждые из 10 объектов, есть 30 примеров их (объектов распознавания) представления.

Есть ли разница в какой последовательности обучать сеть?

Т.е. скажем, сеть точнее будет, если мы подаём сначала 30 примеров первого объекта, затем 30 следующего и т.д.?
В сравнении с таким вариантом: штук 5 примеров первого образца, затем штуки 2 (к примеру) 8го образца, потом ещё чего-то к обучению.. Т.о. в итоге мы подадим все 10 объектов со всеми соответствующими 30 образцами представления, но только в разном порядке. Не знаю вот, принципиально ли это для сети или нет?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Пт Сен 10, 2010 4:20 pm    Заголовок сообщения: Ответить с цитатой

>Есть ли разница в какой последовательности обучать сеть?

Примеры разных классов (у Вас классы названы "объектами") должны подаваться вперемешку. Можно даже на каждой эпохе обучения примеры заново случайно перемешивать.
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Пт Сен 10, 2010 4:24 pm    Заголовок сообщения: Ответить с цитатой

Victor G. Tsaregorodtsev писал(а):
>Есть ли разница в какой последовательности обучать сеть?

Примеры разных классов (у Вас классы названы "объектами") должны подаваться вперемешку. Можно даже на каждой эпохе обучения примеры заново случайно перемешивать.

Т.е. в принципе получиться может так, что от такой перетасовки будет зависить насколько хорошо сеть обучится? И случайная перемешка может повлиять на качество обучения..?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Сб Сен 11, 2010 4:49 pm    Заголовок сообщения: Ответить с цитатой

Ответ на оба вопроса - "да".
Исключить такие негативные возможности можно либо пакетным (batch) режимом обучения (в этом режиме примеры перемешивать не надо), либо увеличением размера выборки до достижения статистической репрезентативности и одновременным уменьшением шага (скорости) обучения.
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Сб Сен 11, 2010 7:11 pm    Заголовок сообщения: Ответить с цитатой

Спасибо за ответ!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети Часовой пояс: GMT + 4
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Rambler's Top100 Rambler's Top100