Список форумов neuroproject.ru neuroproject.ru
Форум сайта компании НейроПроект
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

FANN --- библиотека для работы с многослойными перцептронами
На страницу Пред.  1, 2
 
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети
Предыдущая тема :: Следующая тема  
Автор Сообщение
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Вс Мар 22, 2009 11:20 pm    Заголовок сообщения: Ответить с цитатой

а че делает fann_scale_train ? и что такле scale, там целый набор методов с ним
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Пн Мар 23, 2009 12:16 am    Заголовок сообщения: Ответить с цитатой

У меня такое ощущение, что документация не была прочитана. Там во введении должно быть пояснение, что НС можно обучать на масштабированных данных. Эти функции как раз для этого.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Пн Мар 23, 2009 12:22 am    Заголовок сообщения: Ответить с цитатой

При работе со scale-сетью автоматически считаются параметры, с помощью которых можно будет судить о распределении входных данных. Считаются максимальные и минимальные значения, среднее, дисперсия и что-то еще.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Пн Мар 23, 2009 1:26 am    Заголовок сообщения: Ответить с цитатой

видно я это пропустил, я проста сразу начал с описания функционала, предварительно прочитам что было при скачаной библиотеке. + у меня слабый англ. и порой очевижные вещи могут ускальзать.
Спасибо вам за помощь Smile

а где то что про вы говорите, про маштабирование ? или с чего посоветуете начинать ?
фукнция fann_set_learning_rate задает скорость обучения ? если да то не многоватоли стандартное значение которое они используют 0.7. Или fann_set_activation_steepness это скорость обучения задает ?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Вт Мар 24, 2009 12:03 am    Заголовок сообщения: Ответить с цитатой

Цитата:
люди несочтите наглым или ленивым, но помогите разобраться с MINST базой http://yann.lecun.com/exdb/mnist/index.html
Из того что написно там я непонял как работать с ней. Пытался найти ченибуть в сети, единственно на что наткнулся полезное это перевод этой базы в куча картинок бмп фармат, но программа реализована на делфи которого я в упор незнаю.
Помогите разобраться как портировать ее для использование с FANN библиотекой на С++
[/quote]
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Вт Мар 24, 2009 12:20 am    Заголовок сообщения: Ответить с цитатой

DmitryShm писал(а):
При работе со scale-сетью автоматически считаются параметры, с помощью которых можно будет судить о распределении входных данных. Считаются максимальные и минимальные значения, среднее, дисперсия и что-то еще.

типа он значения нормализирует этими функциями?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Вт Мар 24, 2009 3:26 pm    Заголовок сообщения: Ответить с цитатой

Нет, но позволяет вычислять параметры, необходимые для самостоятельной нормализации. Хотя, я еще не смотрел, может там есть функции и для автоматической нормализации. В общем, код у библиотеки открытый, и часто вместо длинного описания функции полезно посмотреть исходный код. Там еще бывают полезные комментарии, плюс от прочтения некоторых исходников бывает понятнее, как лучше пользоваться библиотекой.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Вт Мар 24, 2009 10:09 pm    Заголовок сообщения: Ответить с цитатой

DmitryShm писал(а):
Нет, но позволяет вычислять параметры, необходимые для самостоятельной нормализации. Хотя, я еще не смотрел, может там есть функции и для автоматической нормализации. В общем, код у библиотеки открытый, и часто вместо длинного описания функции полезно посмотреть исходный код. Там еще бывают полезные комментарии, плюс от прочтения некоторых исходников бывает понятнее, как лучше пользоваться библиотекой.

Smile
Скорее, это просто у программистов иногда бывают ситуации, когда объяснить не так-то просто доступным языком. Ходишь вокруг да около, в результате и получается такое описалово непонятное Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Сб Апр 04, 2009 12:24 am    Заголовок сообщения: Ответить с цитатой

можете объяснить как првильно добавить выйлы библиотека к проекту ? если проста скопировать их в порект и дописать через инклуде то выдает кучу ошибок. Пока ограничился тем что открываю проект собранный в библиотеки и работаею в нем, но это неудобно.
Заранее спасибо
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Сб Апр 04, 2009 1:29 am    Заголовок сообщения: Ответить с цитатой

В архиве библиотеки есть проект Visual Studio. Как сделал я: создал несколько конфигураций этого проекта с ключами компиляции /md, /mdd, /mt, /mtd, в результате чего получил 4 lib-файла на все случаи линковки моего кода на С++ со стандартными библиотеками.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Сб Апр 04, 2009 1:05 pm    Заголовок сообщения: Ответить с цитатой

понятно, т.е неполучиться его как STL проста к проекту прицепить Sad

---------
у меня сеть 784-392-11 получилась ~10мб, это нормально ? недумал что такая большая будет.

---------
а какова типа значения синапсов ? там вроде научный, сколько это в байтах ?

_________________
ИИИхаааа я сдела эту сучку.... я всетаки запрограммил все )) поздравьте меня )
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Пн Апр 06, 2009 7:37 pm    Заголовок сообщения: Ответить с цитатой

где можно почитать про алгоритм rprop где разжевам он также как и простой алгоритм обратнтго распространения, на русском ? а то все что я находил очень скупо описано, невсе понятно
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Пн Апр 06, 2009 10:21 pm    Заголовок сообщения: Ответить с цитатой

Саймон Хайкин "Нейронные сети: полный курс."
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
nemezis
Участник форума
Участник форума


Зарегистрирован: 04 Мар 2009
Сообщения: 34

СообщениеДобавлено: Вт Апр 07, 2009 10:27 am    Заголовок сообщения: Ответить с цитатой

А как можно охарактеризовать величину ошибки возвращаемую после обучения сети, вот к примеру обучилась сеть и вернула значение get_MSE = 0.05, это всмысле сеть в 95% правильно распознает ?
---------------

а вообще величина ошибки хранить в сети или как ? Например после сохраения сети fann_save и последующей ее загрузки из файла можно узнать величину ее ошибки ?

без прогона на тестовых данных ?

-------------------
гдето видел, но немогу найти, Ян Лекун какойто алгоритм разработал типо крутой, http://yann.lecun.com/exdb/lenet/index.html, кака ошибка сети на нем ?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
NeuroB
Участник форума
Участник форума


Зарегистрирован: 18 Мар 2009
Сообщения: 49

СообщениеДобавлено: Вс Апр 12, 2009 10:21 am    Заголовок сообщения: Ответить с цитатой

DmitryShm, скажи, а с помощью FANN можно ли смоделировать такие структуры сети как когнитрон, неокогнитрон, рекуррентные..?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
DmitryShm
Участник форума
Участник форума


Зарегистрирован: 09 Апр 2006
Сообщения: 63
Откуда: Россия, Казань

СообщениеДобавлено: Пн Май 04, 2009 11:58 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
...и вернула значение get_MSE = 0.05, это всмысле сеть в 95% правильно распознает ?

Нет, это значит она на тестовых данных получила такую ошибку. Есть еще ошибка обобщения (т.е. на данных, не вошедших в обучающую выборку). Эта ошибка сильно зависит от того, как обучалась нейронная сеть, было ли переобучение, какова была репрезентативность выборки. В книжке Хайкина имеются оценки на этот счет.

Цитата:
с помощью FANN можно ли смоделировать такие структуры сети как когнитрон, неокогнитрон, рекуррентные..?

С помощью FANN можно сразу использовать MLP-архитектуры и только их, что ясно из документации. Вообще, архитектура библиотеки расширяемая, и можно писать свою логику, разобравшись что да как. В библиотеке удачно выбрана модель хранения нейронов, удачно выполнен подход к многослойным сетям. Т.е. по-любому есть что перенять. Нейроны есть --- значит любые сети можно строить. Вопрос в умении строить новое --- это не просто API юзать, тут серьезно разбираться придется.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
tac
Новый посетитель
Новый посетитель


Зарегистрирован: 29 Янв 2009
Сообщения: 19

СообщениеДобавлено: Ср Май 27, 2009 4:18 am    Заголовок сообщения: Ответить с цитатой

Я так понимаю Вы тут предлагаете помощь в задачах с MLP&BP ?

Можете запрограмировать следующию задачу

Задача различить две цифры 3 и 8 (рукописные размером 21х21 чернобелые)

Группа C (для обучения) = 6000 цифр 3 и 5800 цифр 8
Группа В (для экзамена) = 975 цифр 3 и 1010 цифр 8

(если согласитесь решить - весь набор данных я скину)

чтобы Вы понимали - я большой пессимист применения MLP&BP, и считаю что эта задача непосильна для этого ..

Пользуюсь я перцептроном Розенблатта, вот график при решении этой задачи http://ru.vlab.wikia.com/wiki/Файл:Test.png

Задача по сути состоит получить аналогичный для MLP&BP ...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
mmi
Участник форума
Участник форума


Зарегистрирован: 15 Май 2010
Сообщения: 30

СообщениеДобавлено: Сб Май 15, 2010 11:23 pm    Заголовок сообщения: Ответить с цитатой

Я в августе прошлого года решил использовать эту сеть для проекта над которым работал тогда (и сейчас продолжаю им заниматься).

В октябре я полностью отказался от FANN и написал за неделю свою версию библиотеки (без каскадного обучения и только fully-connected слои), которая была на порядок быстрее, чем FANN, а в нужном мне варианте (разреженный вход) так и вообще на 2 порядка.

Недостатки FANN:
- Крайне неудачная структура хранения данных, которая не позволяет реализовать ни векторные операции, ни мульти-поточное обучение.
- Сложный код, который трудно модифицировать. Собственно, автор этим уже не занимается.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
alexey_mosc
Участник форума
Участник форума


Зарегистрирован: 31 Июл 2008
Сообщения: 64

СообщениеДобавлено: Пн Май 17, 2010 4:05 pm    Заголовок сообщения: Ответить с цитатой

nemezis писал(а):
А как можно охарактеризовать величину ошибки возвращаемую после обучения сети, вот к примеру обучилась сеть и вернула значение get_MSE = 0.05, это всмысле сеть в 95% правильно распознает ?
---------------



MSE - значит Mean Square Error - то есть среднеквадратическая ошибка. Это, в принципе, одна из многих целевых функций, реализуемая НС. Не знаю, правда, есть ли другие функции ошибки в FANN.

А как интерпретировать именно эту ошибку - зависит от типа выходных переменных: если они непрерывные, то это среднее квадратов ошибок, а если принадлежат к классам, то, может быть и 95% правильно распознанных. Связь между значением функции ошибки и реальной способностью сети обучиться, а тем более, хорошо обобщать, не очевидная. Надо эмпирически смотреть на этот вопрос.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов neuroproject.ru -> Нейронные сети Часовой пояс: GMT + 4
На страницу Пред.  1, 2
Страница 2 из 2

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Rambler's Top100 Rambler's Top100