Neuroproject.ru / Обучение / Учебник - Решения практических задач
   Главная / Обучение / Учебник - Решения практических задач


 
О компании
Програмные продукты
Услуги
Обучение
Материалы
Форум
     Учебник       Книги       Java-апплеты       Статьи       Ссылки       Загрузить материалы   
Учебник
Наш учебник




АНАЛИТИЧЕСКИЕ ТЕХНОЛОГИИ
для прогнозирования и анализа данных
Copyright © 1999-2005 НейроПроект

Этот учебник предназначен для первоначального ознакомления с аналитическими технологиями, в частности, с нейронными сетями и генетическими алгоритмами. Он не претендует на научную строгость и полноту. Любые замечания и исправления будут рассмотрены с вниманием.



   Оглавление
   Зачем нужны аналитические технологии
   Нейронные сети
   Генетические алгоритмы
   Методы прогнозирования
   Программные реализации
   Решения практических задач

Решения практических задач


1. Способы внедрения новых технологий

Нейронные сети и генетические алгоритмы в настоящее время находят огромное число разнообразных применений. Действительно, в любой области человеческой деятельности есть плохо алгоритмизуемые задачи, для решения которых необходима либо постоянная работа группы квалифицированных экспертов, либо адаптивные системы автоматизации, каковыми являются нейронные сети. Разные компании выбирают разные варианты - одни предпочитают тратить деньги на оплату лучших специалистов и их обучение, другие покупают полностью готовые специализированные нейросетевые системы, а третьи комбинируют эти подходы, создавая собственные системы с нуля или на основе готовых коммерческих пакетов. Каждый из вариантов внедрения новых технологий имеет свои достоинства и недостатки.

Создание группы экспертов
Достоинства
  • Возможность словесного общения
  • Возможность учета неформализуемых факторов
Недостатки
  • Высокие расходы на зарплату
  • Расходы на повышение квалификации
  • Опасность потери эксперта (переход к конкуренту, эмиграция, болезнь и т.д.)
  • Человеческая субъективность
  • Противоречивость мнений различных экспертов

Покупка готовой заказной системы
Достоинства
  • Относительно невысокая стоимость эксплуатации
  • Система создана лучшими специалистами
  • Система сделана с учетом специфики компании
Недостатки
  • Очень высокая стоимость разработки
  • Невысокая гибкость
  • Необходимость в разглашении секретов делового процесса компании
  • Необходимость в привлечении специалистов со стороны для исправления ошибок, внесения изменений и т.д.

Создание собственной системы "с нуля"
Достоинства
  • Управление процессом разработки
  • Легкость внесения изменений и модернизации
  • Полная конфиденциальность
Недостатки
  • Необходим штат программистов
  • Необходимы специалисты по нейросетям
  • Занимает много времени
  • Высокая стоимость
  • Необходима настройка системы

Создание системы на основе готовых нейропакетов
Достоинства
  • Невысокая стоимость базового пакета и обновлений
  • Готовые архитектуры и алгоритмы обучения
  • Пакет создан профессионалами в области нейросетей
  • Достаточно высокая гибкость
  • Техническая поддержка производителя пакета
  • Полная конфиденциальность
  • Не требуется программирование
  • От пользователя не требуется глубокого знания нейросетей
  • Более эффективное обнаружение и исправление ошибок за счет большого числа пользователей
  • Возможность приобретения надстроек к пакету у различных производителей
  • Возможность общения с другими пользователями пакета
Недостатки
  • Не всегда возможно создавать собственные архитектуры и алгоритмы обучения
  • Необходима настройка системы
  • Необходима подготовка данных

Из приведенной таблицы видно, что выбор варианта решения должен определяться исходя из целей и возможностей компании. Первые три варианта больше подойдут очень крупным компаниям, планирующим деятельность на 5-10 лет вперед и не ожидающим быстрой окупаемости вложений в новые технологии. По этому пути идут многие западные фирмы, желающие увеличить прибыльность своего бизнеса в условиях жесткой конкуренции.

Вариант создания собственной системы на основе готового нейропакета подходит для менее крупных компаний и даже для частных лиц - инвесторов, трейдеров, предпринимателей. Впрочем, имеется и несколько примеров крупнейших концернов, избравших этот вариант и добившихся успеха. Так, например, компания DuPont разработала новый материал - безопасное стекло, используя нейросетевой пакет NeuroShell. Также этот пакет используется в крупных западных банках, таких как Citibank, Security Pacific National Bank, The World Bank, Lloyds Bank, The Federal Reserve Board, Federal Reserve Bank of New York, и в страховых компаниях Royal Insurance, Presidential Life Insurance, New York Life Insurance и других. Хотя конкретные методики использования пакетов держатся в секрете, формулировки задач и подходы к их решению известны. Ниже будет рассказано об известных нам способах использования нейросетей в различных областях бизнеса и технологий.

2. Список практических приложений

Обслуживание кредитных карточек

Способности нейросетей к классификации применяются для отслеживания операций с крадеными кредитными картами и поддельными чеками. Специализированная система Falcon фирмы HNC позволяет по частоте сделок и характеру покупок выделить подозрительные сделки и сигнализировать об этом. Благодаря этой системе потери банков от таких операций заметно уменьшились. В настоящее время Falcon контролирует более 260 миллионов счетов 16 крупнейших эмитентов кредитных карт.
    Аналогичная система, разработанная фирмой ITC, используется для обработки операций с кредитными картами Visa. В 1995 году с помощью этой системы были предотвращены нелегальные сделки на сумму более 100 млн. долларов.


Медицинская диагностика

Компанией "НейроПроект" создана система объективной диагностики слуха у грудных детей. Общепринятая методика объективной диагностики состоит в том, что в процессе обследования регистрируются "вызванные потенциалы" (отклики мозга) в ответ на звуковой раздражитель, проявляющиеся в виде всплесков на электроэнцефалограмме. Для достаточно уверенной диагностики слуха ребенка опытному эксперту-аудиологу необходимо провести около 2000 тестов, что занимает около часа. Нейросеть способна с той же достоверностью определить уровень слуха уже по 200 наблюдениям в течение всего нескольких минут, причем без участия квалифицированного персонала.

Распознавание речи

Распознавание речи - одно из наиболее популярных применений нейросетей. В компании "НейроПроект" сделана демонстрационная система для речевого управления встроенным калькулятором Windows. Система уверенно распознает любое из 36 слов, сказанных в микрофон любым человеком.
Для классификации используется двухкаскадная иерархическая нейросеть, где первый каскад состоит из одного перцептрона (1000 входов, 24 нейрона в скрытом слое, 6 выходов), а второй каскад - из 6 перцептронов с различными параметрами. Первый перцептрон осуществляет грубое распознавание слова, относя его к одному из 6 классов. Роль второго каскада - точно классифицировать слово внутри каждого из классов.

Для построения этой сети использовалась библиотека NeuroWindows, а также разработанный в компании "НейроПроект" алгоритм иерархического обучения. В обучении сети принимали участие 19 дикторов.

Обнаружение фальсификаций

В США введена в действие система обнаружения мошенничеств в области здравоохранения. Подсчитано, что потери бюджета от такого рода фальсификаций составляют около 730 млн. долларов в год. Создание нейросетевой специализированной системы заняло у фирмы ITC более года и обошлось в 2.5 млн. долларов. Тестирование показало, что нейросеть позволяет обнаруживать 38% мошеннических случаев, в то время как существующая экспертная система - только 14%. Для настройки системы были использованы также методы нечеткой логики и генетической оптимизации.



Анализ потребительского рынка

Несколько лет назад фирма IBM Consulting выполнила заказ на создание нейросетевой системы, прогнозирующей свойства потребительского рынка. Заказчик - один из крупнейших производителей пищевых продуктов, имеющий огромные рынки сбыта. Одним из основных маркетинговых механизмов заказчика является распространение купонов, дающих право покупки определенного товара со скидкой.
Так как затраты на рассылку купонов довольно велики, решающим фактором является эффективность рассылки, то есть доля клиентов, воспользовавшихся скидкой.
    Для повышения эффективности купонной системы важно было провести предварительную сегментацию рынка, а затем адресовать клиентам каждого сегмента именно те купоны, которыми они с большей вероятностью воспользуются. В терминах анализа данных здесь требовалось решить задачу кластеризации, что и было успешно сделано с помощью сетей Кохонена. На втором этапе для потребителей каждого из кластеров подбирались подходящие коммерческие предложения, а затем строился прогноз объема продаж для каждого сегмента.



Другой вариант решения этой же задачи избрала компания GoalAssist Corporation, исполняя заказ крупной маркетинговой фирмы. Требовалось исследовать стратегию поощрительных товаров (когда, например, присылая 5 этикеток от чипсов, клиент получает бесплатно футболку) для определенной компании, торгующей пищевыми продуктами. Обычные методы прогнозирования отклика потребителей оказались в данном случае недостаточно точны. В результате спрос на футболки оказался слишком велик и многим покупателям пришлось подолгу ждать получения приза, в то время как другие подарки остались невостребованными. Чтобы повысить точность прогнозирования, было решено использовать исторические данные и нейронные сети.
Компания GoalAssist Corporation построила две нейросети для решения этой задачи. Первая из них - это сеть с адаптивной архитектурой пакета NeuroShell Classifier компании Ward Systems Group, на входы которой подавались различные параметры товаров и рекламной политики. С помощью этой сети, предназначенной специально для классификации, было получено разделение входов на 4 класса, характеризующих отклик потребителей. Те же входы вместе с ответом первой сети подавались далее на вход пакета NeuroShell Predictor, который также содержит сложную самоорганизующуюся сеть, но приспособленную для задач количественного прогнозирования. Средняя ошибка предсказаний составила всего около 4%. Построение этой модели заняло около 120 часов, также потребовалось время на предобработку входных данных. Эксперты GoalAssist Corp. считают, что эта модель и далее будет успешно применяться для решения маркетинговых задач.

Компания Neural Innovation Ltd. использует при работе с маркетинговыми компаниями конкретную стратегию прямой рассылки. Вначале рассылается 25% от общего числа предложений и собирается информация об откликах потребителей. Затем эта информация поступает на вход нейрокомпьютера, который осуществляет поиск оптимального сегмента потребительского рынка для данного товара. Затем остальные 75% предложений рассылаются в указанный сегмент. При этом эффективность рассылки существенно возрастает.


Прогнозирование объема продаж и управление закупками

Изложенные в предыдущем пункте методы хорошо зарекомендовали себя на устойчивых западных рынках. При создании подобных систем на российском рынке необходимо учитывать его нестабильность, а также особенности поведения российских потребителей (например, закупки в период высоких инфляционных ожиданий). В изменчивых условиях для торговых фирм особенно важно иметь прогноз спроса клиентов и дохода компании, чтобы осуществлять оптимальное управление закупками. В настоящее время компания "НейроПроект" совместно с маркетинговой фирмой "Конси" (Нижний Новгород) ведет разработку системы анализа потребительского рынка и прогнозирования спроса на основе российских исторических данных.


Проектирование и оптимизация сетей связи

Одна из важнейших задач в области телекоммуникаций - нахождение оптимального пути пересылки трафика между узлами - может быть успешно решена с помощью нейронных сетей. В данном случае важны две особенности: во-первых, решение должно быть адаптивным, то есть учитывать текущее состояние сети связи и наличие сбойных участков, а во-вторых, найти оптимальное решение нужно очень быстро, в реальном времени. Нейросети прекрасно приспособлены для такого рода задач.
Кроме управления маршрутизацией потоков, нейросети используются и для проектирования новых телекоммуникационных сетей. При этом удается получить очень эффективные решения.


Прогнозирование изменений котировок

Компания Alela Corp. занимается прогнозированием изменения биржевых индексов. Для предсказания знаков изменения индексов применяется нейронная сеть, использующая РБФ (радиальные базисные функции). На сайте компании можно бесплатно получить прогнозы изменения индексов Dow Jones, S&P500 и Merval, а также убедиться, что доля верных предсказаний составляет не менее 80%.
    Создатели сайта предлагают всем желающим использовать эти прогнозы в качестве дополнительных индикаторов.

Управление ценами и производством

Руководители предприятий часто недооценивают потери от неоптимального планирования производства. Так как спрос и условия реализации зависят от времени, сезона, курсов валют и многих других факторов, то и объем производства следует гибко варьировать с целью оптимального использования ресурсов. Уже существуют примеры нейросетевых систем планирования, которые применяются совместно со стандартными методами исследования операций, динамического программирования, а также с методами нечеткой логики.


    Крупное английское издательство, выпускающее газеты, приобрело у фирмы Neural Innovation Ltd. систему планирования цен и затрат, основанную на нейросети с использованием генетических алгоритмов. На основе исторических данных система обнаруживает сложные зависимости между затратами на рекламу, объемом продаж, ценой газеты, ценами конкурентов, днем недели, сезоном и т.д. После этого возможен подбор оптимальной стратегии с точки зрения максимизации объема продаж или прибыли.


Исследование факторов спроса

Для увеличения прибыльности бизнеса в условиях конкуренции компании необходимо поддерживать постоянный контакт с потребителями - обратную связь. В частности, для этого солидные компании проводят опросы потребителей, позволяющие выяснить, какие факторы являются для потребителя решающими при покупке данного товара или услуги, почему в некоторых случаях предпочтение отдается конкурентам, и какие улучшения товара потребитель хотел бы увидеть в будущем. Анализ результатов такого опроса - достаточно сложная задача, так как здесь участвует большое количество связанных между собой параметров.
Нейронные сети идеально подходят для решения этой задачи. Существующие нейросетевые методы позволяют вывлять сложные зависимости между факторами спроса, прогнозировать поведение потребителей при изменении маркетинговой политики, находить наиболее значимые факторы и оптимальные стратегии рекламы, а также очерчивать сегмент потребителей, наиболее перспективный для данного товара.


Примеры успешного использования нейросетевых технологий для построения эффективной маркетинговой политики:
  • Маркетинговая кампания "Tango Orange Man", организованная английским производителем безалкогольных напитков, компанией Britvic Soft Drinks совместно с фирмой Neural Technologies.
  • Исследование предпочтений потребителей различных сортов пива в зависимости от их возраста, дохода, семейного положения и других параметров, проведенное фирмой Neural Technologies.


Прогнозирование потребления энергии

Крупная электрическая компания заказала фирме ZSolutions систему анализа данных об энергопотреблении. Эти данные получены в результате измерений потребляемой энергии для каждого клиента. Измерения проводились каждые 15 минут, причем известно, что некоторые из них - ошибочны. С помощью нейросетей была построена система выявления ошибочных измерений, а также система прогнозирования потребления энергии в каждый момент времени. Знание точного прогноза позволило энергетической компании использовать гибкую тарифную политику и увеличить свою прибыль.


Оценка недвижимости

Стоимость дома или квартиры зависит от большого числа факторов, таких как общая площадь, удаленность от центра, экологическая обстановка, престижность, тип дома, и т.д. Так как вид этой зависимости неизвестен, то стандартные методы анализа неэффективны в задаче оценки стоимости квартиры. Как правило, эта задача решается экспертами-оценщиками, работающими в агенстве по недвижимости. Недостатком такого подхода является субъективность оценщика, а также возможные разногласия между различными экспертами.
    Существуют успешные примеры решения задачи объективной оценки с помощью нейросети. В частности, фирма Attrasoft приводит пример оценки стоимости домов в Бостоне с учетом 13 параметров.

Прогнозирование свойств полимеров

В 1997 году фирма Aspen Technology, один из лидеров среди производителей программных продуктов для моделирования и оптимизации производственных процессов, приобрела компанию NeuralWare Inc., владеющую нейросетевыми технологиями. Это слияние, в частности, дало возможность создать технологию прогнозирования свойств материалов в химических полимерных производствах с помощью нейросетей. Этот подход оказался гораздо более дешевым, чем разработка теоретической модели, и даже более эффективным.
    Уже добилась успеха на этом пути компания DuPont, создавшая новый сорт безопасного стекла с помощью пакета NeuroShell.


Анализ страховых исков

Фирмой Neural Innovation Ltd. создана нейросетевая система Claim Fraud Analyser, позволяющая мгновенно выявлять подозрительные страховые иски, относящиеся к поврежденным автомобилям. На входы системы подаются такие параметры, как возраст и опыт водителя, стоимость автомобиля, наличие подобных происшествий в прошлом и другие. В результате обработки выдается число - вероятность того, что данный иск связан с мошенничеством.
    Такая система позволяет не только сэкономить за счет выявления фальсификаций, но и улучшить отношения с клиентами за счет более быстрого удовлетворения честных исков.


3. Как нейросети могут помочь в моей работе?

Приведенные выше примеры показывают, что технологии нейронных сетей и генетических алгоритмов применимы практически в любой области. В некоторых задачах, таких как прогнозирование котировок или распознавание образов, нейросети стали уже привычным инструментом. Нет сомнений, что повсеместное проникновение новых технологий и в другие области - только вопрос времени. Аналогичный процесс уже произошел с компьютерами, которые в течение всего 20 лет распространились из военных вычислительных центров в каждый офис и во многие квартиры.

Внедрение новых наукоемких технологий в коммерческой фирме - достаточно непростое дело, требующее, кроме денег и времени, еще и некоторой перемены психологии. Однако, практика показывает, что эти вложения окупаются и выводят компанию на качественно новый уровень.

Скорее всего, в Вашей работе ежедневно приходится решать различные задачи, причем их постановка неформальна, а решение неоднозначно. Ясно также, что доход компании так или иначе зависит от качества решения этих задач. Даже если строгий алгоритмический подход невозможен, а получить точное решение принципиально нельзя, существуют другие эффективные способы решения. Наша компания "НейроПроект" имеет значительный опыт формализации практических задач и их решения с помощью нейронных сетей и генетических алгоритмов. Мы имеем круг постоянных клиентов, успешно использующих наши продукты и консультации. Если Вас интересует, каким образом технологии нейронных сетей и генетических алгоритмов могут повысить прибыльность именно Вашего бизнеса, пожалуйста, напишите нам по адресу support@neuroproject.ru .


   Оглавление
   Зачем нужны аналитические технологии
   Нейронные сети
   Генетические алгоритмы
   Методы прогнозирования
   Программные реализации
   Решения практических задач


   Учебник       Книги       Java-апплеты       Статьи       Ссылки       Загрузить материалы   



Rambler's Top100 Rambler's Top100