Список форумов neuroproject.ru neuroproject.ru
Форум сайта компании НейроПроект
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Нейросеть под задачу

 
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> NeuroShell 2
Предыдущая тема :: Следующая тема  
Автор Сообщение
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Ср Окт 22, 2008 5:29 am    Заголовок сообщения: Нейросеть под задачу Ответить с цитатой

Всем привет.
С недавних пор я загорелся идеей спроектировать и исследовать эффективность комитета нейроэкспертов в решении задач прогнозирования финансовых временных рядов. Возник вопрос: Каким образом в среде НейроШелла 2 можно осуществить алгоритм обучения нейросети методом обратного распространения ошибки с пошаговой генетической модификацией весов согласно распределению Коши (распределение Больцмана эвристически отвергнуто из-за низкой скорости)?...
Очень хочу получить консультацию по этому вопросу.
Кроме того, интересно, насколько эффективен метод группового учета аргумента (МГУА) в принятии решения о том, какова будет оптимальная структура нейросети (количество слоев и нейронов в них).
Прошу не оставить без внимания тему.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Ср Окт 22, 2008 4:15 pm    Заголовок сообщения: Re: Нейросеть под задачу Ответить с цитатой

Цитата:
алгоритм обучения нейросети методом обратного распространения ошибки с пошаговой генетической модификацией весов

Это как? Я, честно говоря, идею не понял вообще. Вопрос не про реализацию в НШ, а именно про саму идею.

Цитата:
Кроме того, интересно, насколько эффективен метод группового учета аргумента (МГУА) в принятии решения о том, какова будет оптимальная структура нейросети (количество слоев и нейронов в них).

Наверно, неэффективен, ибо его идея ортогональна нейросетям в том плане, что МГУА в узел "сети" интегрирует малое количество сигналов, а у сеток обычно на каждый нейрон слоя приходит весь доступный для данного слоя набор сигналов. Так что выбирайте - или стандартная для нейропакетов топология полных связей внутри слоев, либо чистый МГУА с его разреженными "сетками".
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Чт Окт 23, 2008 4:05 am    Заголовок сообщения: Ответить с цитатой

С нейросетями я знаком недавно, поэтому не совсем понимаю мелочей. Прошу меня поправить, если что...
Насколько я понимаю, для прогнозирования финансовых временных рядов целесообразнее использовать нейросеть с обратными связями (рекуррентная), так как такая архитектура реализует подобие ассоциативной памяти (ДАП). Реккурентная нейросеть обучается методом обратного распространения ошибки, который грешит наличием проблемы локальных минимумов. Насколько я в курсе, она устраняется приемами стохастического обучения - псевдослучайными модификациями весов с сохранением тех изменений, которые ведут к улучшениям - уменьшению целевой функции. То есть выбор веса происходит случайным образом и после корректируется на относительно меньшую случайную величину. Последняя выбирается из интервала от нуля до единицы равномерного распределения. Таким распределением в теории будет распределение Коши, так как оно, имея неопределенную дисперсию и более длинные хвосты на графике, дает большую вероятность больших шагов вторичной модификации весов, существенно снижая время тренировки нейросети.
Объединение коррекций весов методом обратного распространения ошибки и случайных модификаций по Коши выглядит оптимальным решением в вопросе выбора алгоритма тренировки.
Правда остается проблема паралича...
И еще, можно попросить Вас подробнее рассказать о полиномиальных сетях. Пусть хотя бы в трех словах. А то из описания НШ2 не ясно, что и как происходит...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Чт Окт 23, 2008 4:53 pm    Заголовок сообщения: Ответить с цитатой

С идеей ясно. Малопомогающий костыль. Слава богу, есть нормальные способы построения-обучения рекуррентных сетей (LSTM, RC,...). Но готовый софт для этих методов найти невозможно, надо самому делать.
И если уж такие проблемы проакцентированы именно для рекуррентной сети, то почему бы не взять обычную нерекуррентную? Ну нет проблем лок.минимумов при правильных методах и правильном софте (это я на своем опыте основываюсь).
Насчет полиномиальной сети - смотрите лучше справку к НШ, т.к. я с ним не работал вообще. Я под полиномиальной сетью понимаю сетку с полиномиальными сумматорами нейронов (т.к. когда в сумматорах будут не только линейные члены, но и попарные произведения входов, квадраты входов,..). Что имели в виду создатели НШ - им лучше знать Wink
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Пн Окт 27, 2008 6:33 am    Заголовок сообщения: Ответить с цитатой

Снова я. Хочу задать такой вопрос: как в НШ обстоит дело с предобработкой данных для реализуемых в ней НС? Насколько я в курсе дела, с толковой предобработкой тоже много мороки...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Пн Окт 27, 2008 4:57 pm    Заголовок сообщения: Ответить с цитатой

В НШ - ХЗ Smile

Теоретически с предобработкой никакой мороки нет. С тех пор, как 10 лет назад ЛеКун сотоварищи написали букварь "Efficient backprop" с детальным освещением влияния предобработки на скорость обучения, появилось относительно мало иных способов и идей, и самый этот свежак в общедоступном софте не будет еще долго реализован. Хотя, конечно, с временными рядами имеются свои заморочки.
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Сб Ноя 01, 2008 6:29 am    Заголовок сообщения: Ответить с цитатой

Есть тут одна задумка: нейросеть по распознаванию образов, предъявляемых скриншотами экрана. Условие одно: точность распознавания должна быть максимальной. Последовательности образов на решение нейросети не влияют, поэтому целесообразен простой вариант НС. Вопрос такой: каким образом на точность решений повлияет добавление слоев нейронов? Если положительно, то чему следует уделить внимание при построении структуры НС?.. Отмечу, если точность решений НС будет выше 99% случаев, то "игра стоит свеч".
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Сб Ноя 01, 2008 6:26 pm    Заголовок сообщения: Ответить с цитатой

Образов чего? Smile
И в каких условиях (что, кроме образов, будет на скриншоте, вариативность цветов, размеров, положений, поворотов, искажений и т.д. для образов?).
Ответы на все остальные вопросы - только после четкого прояснения задачи, а иначе - обращайтесь к нострадамусам Wink
Хотя... Если не просто грубо наращивать число слоев, а именно многослойную спецструктуру сети делать (например, брать сверточную нейросеть - там разные типы нейронов на разных слоях) - то это будет действительно в плюс по теории и практике. Ссылки на теорию и практику см. у меня на сайте в недавней заметке http://www.neuropro.ru/memo38.shtml (в заметке даны только выходные данные статей, но я на страничке ссылок указал сайты их авторов и сайт конференции NIPS - все статьи добываются без проблем)
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Eugeen
Эксперт
Эксперт


Зарегистрирован: 15 Ноя 2005
Сообщения: 71
Откуда: Москва

СообщениеДобавлено: Ср Ноя 05, 2008 1:41 pm    Заголовок сообщения: Ответить с цитатой

Victor G. Tsaregorodtsev писал(а):
С идеей ясно. Малопомогающий костыль. Слава богу, есть нормальные способы построения-обучения рекуррентных сетей (LSTM, RC,...). Но готовый софт для этих методов найти невозможно, надо самому делать.

Я пробовал рекуррентные НС в пакете NeuroSolution. Правда для других задач но, в принципе, метод работает. Возможно, при использовании NeuroSolution, придется "поскриптовать" немного, но это все-таки не написание и отладка "с нуля".
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Пн Ноя 17, 2008 2:46 pm    Заголовок сообщения: Ответить с цитатой

Уважаемые собеседники, не подскажите ли, где бы я мог достать информацию об обучении реккурентных сетей. Мне кажется, там есть свои заморочки, может какой-нибудь автор уделил внимание по этому поводу... У меня задача полностью описать теоретическую базу воплощения таких сетей на практике. ИНСка - сеть Ворда из двух базовых блоков: полносвязанного и многослойного. Наверняка, есть какие-то нюансы обучения и применения подобной смеси... Раскройте глаза, пожалуйста, буду признателен неимоверно. Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Victor G. Tsaregorodtsev
Эксперт
Эксперт


Зарегистрирован: 28 Июн 2005
Сообщения: 248
Откуда: Красноярск

СообщениеДобавлено: Пн Ноя 17, 2008 6:16 pm    Заголовок сообщения: Ответить с цитатой

Митя

Информация безотносительно к выбранной Вами структуре сети (т.е. в общем случае рекуррентных сеток и иных их вариантов):
1. Нейроучебник С.Хайкина.
2. Если на английском - то у меня на сайте см. страницу ссылок. Если к забугорным журналам (там более подробные-длинные статьи) доступа не будет, то надо будет выбирать нужное из материалов пары конференций, со страничек Юргена Шмидхубера (он автор метода LSTM - long short-term memory) и Ли Джайлса (он рекуррентными нейросетками много занимался в 90е).
_________________
neuropro.ru - нейронные сети, анализ данных, прогнозирование
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Eugeen
Эксперт
Эксперт


Зарегистрирован: 15 Ноя 2005
Сообщения: 71
Откуда: Москва

СообщениеДобавлено: Вт Ноя 18, 2008 8:16 pm    Заголовок сообщения: Ответить с цитатой

Victor G. Tsaregorodtsev писал(а):
Митя

Информация безотносительно к выбранной Вами структуре сети (т.е. в общем случае рекуррентных сеток и иных их вариантов):
1. Нейроучебник С.Хайкина.
2. Если на английском - то у меня на сайте см. страницу ссылок. Если к забугорным журналам (там более подробные-длинные статьи) доступа не будет, то надо будет выбирать нужное из материалов пары конференций, со страничек Юргена Шмидхубера (он автор метода LSTM - long short-term memory) и Ли Джайлса (он рекуррентными нейросетками много занимался в 90е).

Добавлю к ответу уважаемого Виктора Геннадиевича еще одну ссылку на русском:
Терехов, Ефимов, Тюкин "Нейросетевые системы управления" М., Высшая школа, 2002, 183 с.
Там (см. главу 4) рассматриваются рекуррентные сети и их обучение.
_________________
Мелочи не играют решающей роли. Они решают все.
"Жизнь среди акул", Х. Маккей.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Митя
Новый посетитель
Новый посетитель


Зарегистрирован: 22 Окт 2008
Сообщения: 11

СообщениеДобавлено: Вт Мар 24, 2009 6:35 am    Заголовок сообщения: Ответить с цитатой

Может быть кто-нибудь ответит на такой тактический вопрос: можно ли запустить НейроШелл одновременно несколько раз на одной машине, чтобы распределить задачи по ядрам процессора. Все будет быстрее. А? Вообще как там дела обстоят с лицензией кто-нибудь знает?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
pavshinAN
Новый посетитель
Новый посетитель


Зарегистрирован: 28 Мар 2013
Сообщения: 1
Откуда: Россия Москва

СообщениеДобавлено: Чт Мар 28, 2013 3:21 pm    Заголовок сообщения: Ответить с цитатой

И еще, можно попросить Вас подробнее рассказать о полиномиальных сетях. Пусть хотя бы в трех словах. А то из описания НШ2 не ясно, что и как происходит...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Esevroff
Новый посетитель
Новый посетитель


Зарегистрирован: 17 Июн 2013
Сообщения: 1
Откуда: Россия Москва

СообщениеДобавлено: Пн Дек 09, 2013 4:22 pm    Заголовок сообщения: Ответить с цитатой

Насколько я в курсе, она устраняется приемами стохастического обучения - псевдослучайными модификациями весов с сохранением тех изменений, которые ведут к улучшениям - уменьшению целевой функции.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> NeuroShell 2 Часовой пояс: GMT + 4
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Rambler's Top100 Rambler's Top100