Генетические алгоритмы
Kenneth O.Stanley, Risto Miikkulainen. Evolving Neural Networks through Augmenting Topologies
| На главную |
| Генетические алгоритмы |
| Статьи |
| Группа исследований эволюционных алгоритмов (ТПУ) |
| Дискуссионная группа по эволюционным вычислениям |
| Написать письмо |
Представлен нейроэволюционный алгоритм NEAT (NeuroEvolution of Augmenting Topologies) для одновременной настройки весов и структуры нейронных сетей. В алгоритме представлены довольно интересные техники: исторические метки и специализация (speciation, niching).
Исторические метки предназначены для регистрации структурных нововведений (новые связи) и позволяют частично решить проблему одинаковых конкурирующих решений (competing conventions). Данная проблема заключается в том, что одна и та же топология ИНС может быть представлена несколькими различными способами в генотипе особи. Это ведет к (1) вырождению популяции, (2) скрещивание таких особей практически бесполезно.
Специализация используется для защиты инноваций. При этом популяция разделяется на группы (так называемые ниши) в соответствии со структурным сходством особей и дальнейшее развитие ведется с учетом группы, в которую входит та или иная особь.
Представлены результаты работы алгоритма для задач "исключающее ИЛИ", первернутый маятник (1 и 2 шеста) и сравнение с наиболее распространенными нейроэволюционными алгоритмами. Также приведен анализ работы алгоритма и влияние составляющих частей на общее быстродействие.
Скачать статью (pdf, rar, 371 kb)
Мое мнение. Предлагаемый К.Стенли алгоритм NEAT является, наверное, лучшим на сегодняшний день. Он не ограничивает размеры ИНС и, в то же время, позволяет получать компактные топологии сетей, с точки зрения числа связей и нейронов. При этом скорость работы алгоритма достаточно высокая, во всяком случае лучше, чем для сравниваемых решений. Из недостатков можно отметить следующие: (1) недостаточно гибкая эволюция (нельзя искать в сторону упрощения топологий сетей); (2) медленная эволюция в сторону усложнения структуры ИНС из-за используемой техники специализации (на уровне предположения). Существует довольно активная интернет-группа пользователей алгоритма. К ней можно присоединиться по адресу http://groups.yahoo.com/group/neat/. Можно написать самому К.Стенли, он отвечает на письма, причем быстро.
[24 апреля 2004г.]
