Зин Яо Моделируя эволюцию искусственных нейронных сетей

Генетические алгоритмы

Yao X. Evolving Artificial Neural Networks

Группа исследований эволюционных алгоритмов (ТПУ)

Дискуссионная группа по эволюционным вычислениям

Обучение и эволюция - две фундаментальные формы адаптации. В последние годы появился огромный интерес к комбинированию обучения и эволюции с искусственными нейронными сетями (ИНС). В данной работе: 1) дается обзор различных комбинаций ИНС с эволюционными алгоритмами (ЭА), включая использование ЭА для настройки весов связей, архитектуры, правил обучения и входных данных ИНС; 2) обсуждаются различные операторы поиска, использованные в различных ЭА; 3) указываются возможные направления исследований. На основе обзора большого объема источников, показано, что совместное применение ИНС и ЭА способствует созданию значительно лучших интеллектуальных систем, чем использование ИНС или ЭА в отдельности.

Скачать статью (pdf, rar, 302 kb)

Скачать статью (pdf, 324 kb)

Настройка весов рекуррентных сетей является трудной задачей для градиентных методов поиска.

Генетические операторы для ГА с вещественным кодированием для настройки весов ИНС:

D. Montana and L. Davis, "Training feedforward neural networks using genetic algorithms", in Proc. 11th Int. Joint Conf. Artificial Intelligence. San Mateo, CA: Morgan Kaufmann, 1989, pp. 762–767.

Демонстрация преимуществ эволюционного подхода для настройки весов ИНС перед обратным распространением:

P. Bartlett and T. Downs, "Training a neural network with a genetic algorithm", Dep. Elect. Eng., Univ. Queensland, Australia, Tech. Rep., Jan. 1990.

Проводится сравнение эволюционного подхода к обучению ИНС и градиентных методов обучения.

Результат обучения ИНС градиентным мeтодом во многом зависит от начальных условий, поэтому часто один алгоритм запускается несколько раз, прежде чем будет найдено решение.

Рассматривается гибридный подход к обучению. Подчеркивается бОльшая его эффективность по сравнению с ГА и ВР в отдельности.

Характеристики пространства поиска нейросетевых структур, подчеркивающие преимущества использования ГА в поиске топологии ИНС (G. F. Miller, P. M. Todd, and S. U. Hegde, "Designing neural networks using genetic algorithms", in Proc. 3rd Int. Conf. Genetic Algorithms and Their Applications, J. D. Schaffer, Ed. San Mateo, CA: Morgan Kaufmann, 1989, pp. 379–384.):

бесконечно большое пространство, т.к. в нем число нейронов и связей не ограничено.

пространство недифференцируемо, т.к. изменения числа нейронов и связей целочисленно.

пространство сложное и обладает "шумом", т.к. нет прямой связи между топологией сети и ее эффективностью.

пространство обманчиво (deceptive), т.к. две сети с одинаковой структурой могут иметь различную эффективность.

пространство многоэкстремально, т.к. различные по структуре сети могут иметь одинаковое качество (эффективность).

Источники "шума" при оценке особей в ЭА для настройки только структуры ИНС (с обучением градиентным методом) ("A new evolutionary system for evolving artificial neural networks", IEEE Trans. Neural Networks, vol. 8, pp. 694–713, May 1997.):

Случайная начальная инициализация весов приводит к различным результаты обучения для одной и той же топологии.

Алгоритм обучения - разные алгоритмы дают разные результаты при одном и том же наборе начальных весов.

ЭА для настройки весов сети Хопфилда:

A. Imada and K. Araki, "Application of an evolution strategy to the Hopfield model of associative memory", in Proc. 1997 IEEE Int. Conf. Evolutionary Computation, ICEC’97, pp. 679–683.

Высказано мнение, что прямое кодирование позволяет находить компактные решения и тонко настраивать структуру сети. В то же время косвенное кодирование подходит, чтобы быстро найти подходящий тип архитектуры сети. Разделение эволюции структуры и обучения является источником некорректности оценки сетей и "запутывает" эволюцию. Использование одновременной настройки структуры и обучения дает, как правило, лучшие результаты.

Высказывается мнение, что кроссовер больше разрушает, нежели создает, по крайней мере для многослойных архитектур, т.к. не принимается во внимание информация полученная на предыдущих этапах эволюции. Высказано мнение, что кроссовер больше подойдет для эволюции локализованных (?? localized) ИНС, например, с радиально-базисными функциями.

Подчеркивается, что рост вычислительной мощности компьютеров дает новые возможности для эволюции нейронных сетей.

Библиография больше чем на 300 наименований !!!!!!!

Начиная с этой работы и далее, я не буду, как раньше, выписывать краткое содержание по главам, а буду просто выкладывать собственные замечания, которые появлялись по мере прочтения статьи. Причина одна - лень ;-), нет ей прощения, а мне тем более. Возможно, это пройдет со временем (сейчас я, к тому же, сильно загружен). А, возможно, и нет... ;-)

Что касается статьи, то она очень, и очень, и очень хорошая и информативная, хотя в ней и нет информации о некоторых достаточно известных нейроэволюционных алгоритмах, тогда уже существовавших. В частности, про алгоритм ESP Фаустино Гомеса. Но то, что есть, оставляет ощущение просто информационного потопа, настолько всего много. К тому же список литературы из 319 источников, это - что-то.

[25 января 2005г.]