Институт оптико-нейронных технологий РАН, Редько...

58
Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич [email protected] Презентация книг Редько В. Г. «Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики», УРСС, 2005 «От моделей поведения к искусственному интеллекту» (под ред. Редько В.Г.), УРСС, 2006

Upload: kalila

Post on 09-Jan-2016

49 views

Category:

Documents


1 download

DESCRIPTION

Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич vg redko@ gmail.com. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич

[email protected]

Презентация книг

Редько В. Г. «Эволюция, нейронные сети, интеллект. Модели и концепции

эволюционной кибернетики», УРСС, 2005

«От моделей поведения к искусственному интеллекту» (под ред.

Редько В.Г.), УРСС, 2006

Page 2: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

План

• Проблема происхождения интеллекта

• Книга 1

• Модели предбиологической эволюции

• Модели адаптивного поведения

• Книга 2

• Впечатление о конференции Simulation of Adaptive Behavior (SAB’06), Рим, 25 сент. -1 окт. 2006.

Page 3: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Гносеологическая проблема

x

m d2x/dt2 = – U(x)/x

m(dx/dt)2/2 + U(x) = const

U(x)

m

?

Почему логический вывод, сделанный человеком, применим к реальному объекту в природе?

Page 4: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Гносеологическая проблема

« … хотя в начале это звучит странно, но, тем не менее, верно, если я скажу: рассудок не черпает свои законы (apriori) из природы, а предписывает их ей».

И. Кант. Пролегомены ко всякой будущей метафизике, могущей появиться как наука, 1783 г.

«Наши категории и формы восприятия, данные до индивидуального опыта, адаптированы к внешнему миру точно по той же причине, по какой копыто лошади адаптировано к почве степи и плавник рыбы адаптирован к воде до того, как рыба вылупится из икринки»

К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Page 5: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Гносеологическая проблема

«Не является ли человеческий разум чем-то таким, что органически возникло в неразрывной и постоянной причинно-следственной связи с законами окружающей природы, — точно так же, как это было с человеческим мозгом?

Не были бы законы разума, необходимые для априорного мышления, иными, если бы они сформировались иным историческим способом и если бы мы, следовательно, были оснащены иным типом нервной системы?

И вообще, возможно ли, чтобы законы нашего когнитивного аппарата не были связаны с законами реального внешнего мира?

Остается ли орган, развившийся в постоянном взаимодействии с законами природы, настолько независимым, чтобы можно было строить теорию явлений независимо от существования вещи в себе?»

К. Лоренц. Кантовская доктрина априорного в свете современной биологии, 1941 г.

Page 6: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Гносеологическая проблема

Уравнения Максвелла

t

H

сE

1 rot

Являются законы электродинамики законами природы?

0div H

jct

E

cH

41 rot

4div E

][

Hvc

qEq

dt

pd

Page 7: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Подход к исследованию гносеологической проблемы

Исследовать происхождение интеллекта путем построения математических и компьютерных моделей когнитивной эволюции, эволюции познавательных свойств биологических организмов

Проследить весь путь биологической эволюции от простейших до человека, анализируя c помощью моделей, как на этом пути возникали свойства познания закономерностей природы в результате развития систем управления адаптивным поведением организмов.

Разумно использовать задел направлений исследований «Адаптивное поведение»

Page 8: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Проблема происхождения интеллекта

3 Млрд 1,5 Млрд 500 Млн 2,5 Тыс Простейшие Сложные Моллюски Человек однокле- однокле- точные точные

Логика

Условный рефлекс

Привыкание

Безусловный рефлекс

Время (лет назад)

Page 9: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

О биоинформатике (в широком смысле слова)

Биология ИнформатикаЧистое поле

Какова должна быть стратегия исследований в области биоинформатики?

Информатика + Биология – науки 21 века, что на стыке?

Page 10: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Три ключевые проблемы

1. Проблема происхождения молекулярно-генетических систем управления – информационно-кибернетические аспекты проблемы происхождения жизни

2. Проблема происхождения интеллекта человека. Гносеологический аспект – почему мышление человека применимо к познанию природы, почему в принципе возможна наука?

3. Проблема эволюции человечества в информационном сообществе (применение многоагентного моделирования). Проблема формирования ноосферы

Первые две проблемы – фундаментальные, третья – прикладная

Page 11: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

«Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной

кибернетики»

Глава 1. Философские предпосылки эволюционной кибернетики Глава 2. Модели возникновения молекулярно-генетических кибернетических системГлава 3. Общие модели молекулярно-генетической эволюцииГлава 4. Прикладное эволюционное моделированиеГлава 5. Искусственные нейронные сетиГлава 6. Направление исследований "Искусственная жизнь" – эволюционные и нейросетевые методыГлава 7. Направление исследований "Адаптивное поведение"

Page 12: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Проблема происхождения молекулярно-генетических систем управления

Репликация ДНК

ДНК, Алфавит: Г, Ц, А, Т

Трансляция

Матричная РНК Транспортная РНК

РНК, Алфавит: Г, Ц, А, У

Транскрипция

Белки (полипептиды) Алфавит: 20 пептидных оснований

Схема самовоспроизводящейся мол.-генетической системы живой клетки

Page 13: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Проблема происхождения молекулярно-генетических систем управления

Модели происхождения молекулярно-генетических систем управления

Модель квазивидов – эволюция простейших РНК-цепочек (М. Эйген, 1971)

Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979)

Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980)

Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986)

Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

Квазивиды Гиперциклы Сайзеры Протоклетки Простейшие

организмы

Page 14: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Модель квазивидов – эволюция простейших модельных геномов

М. Эйген, Г. Кун, Дж. Эдельман

Рассматривается дарвиновская эволюция популяции модельных геномов. Длина генома равна N, учитываются точечные мутации, скрещивания нет

Имеется один оптимум. Рассматривается процесс, который сходится к квазивиду – распределению особей в окрестности оптимума.

Сделаны аналитические оценки, которые демонстрируют, что в эволюционном процессе «оптимальный» геном длины N можно найти при испытании порядка N 2 особей

Оценки проверены путем компьютерного моделирования.

Page 15: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Модель квазивидовРассматривается дарвиновская эволюция популяции последовательностей S1 , S2 , ... , Sn .

Ski = 1, -1; k = 1,2,…, n; i = 1,2,…, N.

Длина последовательностей N и численность популяции n велики: N, n >> 1. N = const, n = const.

Имеется оптимальная последовательность Sm , имеющая максимальную приспособленность. Приспособленность произвольной особи S определяется расстоянием по Хеммингу (S, Sm) между S и Sm (числом несовпадающих символов в соответствующих позициях последовательностей):   f(S) = exp[-(S, Sm)], (1)                                                                                            – интенсивность отбора.

Page 16: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Схема эволюции в модели квазивидовШаг 0. Формирование начальной популяции {Sk (0)}. Для каждого k = 1, ..., n, и для каждого  i = 1 , ..., N , выбираем случайно символ Ski , полагая его равным +1 либо -1.

Шаг 1. ОтборПодшаг 1.1.   Расчет приспособленностей. Для каждого Sk

из {Sk(t)} вычисляем величину f(Sk), t – номер поколения, k =1, ..., n. Подшаг 1.2. Формирование новой популяции {Sk(t+1)}. Отбираем n особей в новую популяцию {Sk(t+1)} с вероятностями, пропорциональными f(Sk).

Шаг 2. Мутации особей в новой популяции. Для каждого k = 1, ..., n, для каждого i = 1, ..., N, меняем знак Ski(t+1) на  противоположный с вероятностью P . P - интенсивность мутаций.

Page 17: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Отбор пропорционально-вероятностный Доля k-го сектора рулетки

qk = fk [ l fl ]-1 , fk = f(Sk) .

Ровно n раз крутим рулетку, номер сектора определяет номер особи, выбираемой в популяцию следующего поколения.

Для каждого вращения вероятность k-й особи попасть в следующее поколение пропорциональна ее приспособленности fk .

Показан пример, для которого n = 4,

f1 = 1/2, f2 = 1, f3 = 1/4, f4 = 1/4.

Page 18: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Параметры модели

N - длина последовательности, длина генома

n - численность популяции

- интенсивность отбора

P - интенсивность мутаций

N, n >> 1, > PN, PN < 1

Page 19: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Качественная схема эволюции (Ю.Р. Цой)

N = 500, n = N, =1, P = 0,002

Page 20: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Качественная схема эволюции

Начальное распределение по в популяции близко к нормальному, <> = N/2, D = N/4.

На первой стадии происходит отбор особей, расположенных "на левом крыле" исходного распределения, и распределение сжимается.

На второй стадии появление новых особей в популяции ограничено мутациями.

Окончательное распределение есть квазивид - распределение в окрестности = 0.

При малых интенсивностях отбора и мутаций (1 >> > PN) распределение в квазивиде близко к распределению Пуассона, <>  = D = PN/ .

Page 21: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Качественная схема эволюции

Для оценки скорости эволюции важна вторая, медленная стадия

t = 0

t1 t3 t2

финальное распределение ( квазивид)

n()

N/20

t1 < t2 < t3

Page 22: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Роль нейтрального отбора Если численность популяции n мала, то эволюционный процесс существенно стохастический и особи могут фиксироваться в популяции случайно, независимо от их приспособленностей.

Роль нейтрального отбора исследовалась в работах М. Кимуры [1], было показано, что характерное время Tn

(число поколений) нейтрального отбора составляет порядка численности популяции n

1. Кимура М. Молекулярная эволюция: теория нейтральности. М.: Мир, 1985, 400 с.

Page 23: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Аналитическая оценка скорости эволюцииПредполагаем, что роль нейтрального отбора невелика:

Tn  >~ T ,    (2)

T - характерное время эволюции, Tn  ~ n .

Характерное время  t-1,  за которое среднее по популяции расстояние до оптимума <> уменьшается на 1, составляет:

t-1 ~ tм  + tот , tм ~ (NP) -1 , tот  ~ -1

tм – характерное время мутаций , tот - характерное время отбора.

Отсюда для T ~  t-1 N имеем:

T  ~ P -1   + N -1.                                                                     (3)

Считаем отбор достаточно интенсивным: T  ~ P -1 и мутации «оптимальными» (одна мутация на геном) P ~ N -1. Тогда T  ~ N.

Пусть (2) выполняется на пределе Tn  ~ T , тогда n ~ Tn  ~ T ~ N.

Общее число особей, участвующих в эволюции, равно n n T T ~ ~ N N 22

Page 24: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Итог оценок

Для эволюционного поиска общее число особей, участвующих в процессе поиска оптимального генома, составляет nnобщобщ = = n n T T ~ ~ N N 22

Оценки были сделаны при достаточно разумном выборе параметров:

1) >= 1 - интенсивность отбора достаточно велика

2) P ~ N -1 - мутации «оптимальны» (одна мутация на геном)

3) n ~ N - условие пренебрежения нейтральным отбором выполняется «на пределе»

Page 25: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Зависимость среднего расстояния до оптимума от номера поколения

(n = N, P = N -1, = 1), (Ю.Р. Цой, 2005)

Page 26: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Зависимости времени релаксации TR и времени выхода на стационар TS от N (Ю.Р. Цой, 2005)

Page 27: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Зависимости времени релаксации TR и времени выхода на стационар TS от N

При достаточно больших N имеем:

TR (N) = kRN + TR0

TS (N) = kSN + TS0,

где kR = 0,1772, kS = 0,3903

TR0 = 8.2709, TS0 = 38.7356

Аналитическая оценка T ~ N

Page 28: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Сравнение с другими алгоритмами Для эволюционного поиска общее число особей, участвующих в процессе поиска оптимального генома, составляет nnобщобщ = = n n T T ~ ~ N N 22

(n ~ N, P ~ N -1, >= 1)

Для последовательного поиска (последовательный перебор символов одной последовательности) nобщ   = N.

Для случайного перебора nобщ   = 2N .

Page 29: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Связь с биологической эволюцией

С биологической точки зрения модель квазивидов может рассматриваться только как очень грубое приближение. Тем не менее, сопоставим цифры.

Для бактерии E-coli число нуклеотидов равно 4·106, т.е. порядка N =107 бит, для человека число нуклеотидов равно 3·109, т.е. порядка N =1010 бит.

Жизнь бактерии ~ 1 час.

«Оптимальную» бактерию в популяции 107 особей можно найти за 1000 лет.

Жизнь млекопитающего ~ 1 год.

«Оптимального» млекопитающего в популяции 1010 особей можно найти за 1010 лет.

Полученные оценки дают аргументы в пользу возможности происхождения организмов путем дарвиновской эволюции.

Page 30: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Проблема происхождения молекулярно-генетических систем управления

Модели происхождения молекулярно-генетических систем управления

Модель квазивидов – эволюция простейших РНК-цепочек (М. Эйген, 1971)

Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979)

Модель сайзеров – модель самовоспроизводящейся системы, модель простейшей протоклетки (В.А. Ратнер, В.В. Шамин, 1980)

Адаптивный сайзер – модель молекулярно-генетической системы управления на предбиологическом уровне (В.Г. Редько, 1986)

Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки:

Квазивиды Гиперциклы Сайзеры Протоклетки Простейшие

организмы

Page 31: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Модель гиперциклов – модель кооперации РНК и ферментов (М. Эйген, П. Шустер, 1979)

Структура гиперцикла Ii – РНК матрицы, Ei – ферменты репликации (i = 1,2,...,n)

I2

I1

In

I4I3

E2

E1

E4

E3

En

i-я РНК кодирует i-й фермент Ei; ферменты циклически катализируют репликацию РНК

РНК и ферменты кооперативно обеспечивают примитивную трансляцию

Page 32: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Модель сайзеров – модель самовоспроизводящейся системы (В.А.

Ратнер, В.В. Шамин, 1980)

I – полинуклеотидная матрица, Ei – ферменты/белки. E1 – фермент репликации , E2 – фермент трансляции, E3 , ..., En –другие ферменты/белки

E1

I

E4 En. . .E2 E3

Page 33: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Адаптивный сайзер – модель возникновения адаптивного поведения (В.Г. Редько, 1986)

Схемы мини-сайзера (слева) и адаптивного сайзера (справа)

I – полинуклеотидная матрица, E1 , E2 , E3 и E4 – фермент репликации, фермент трансляции, фермент-регулятор и фермент-адаптер

Регулирование синтеза фермента-адаптера E4 – аналогично схеме Жакоба и Моно

I

E1 E2

I

E1 E2 E3 E4

Page 34: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Возможный сценарий возникновения самовоспроизводящейся молекулярно-генетической системы живой клетки

Квазивиды Гиперциклы Сайзеры Протоклетки Простейшие

организмы

Page 35: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Адаптивное Поведение From Animal to Animat – модели адаптивного поведения

животного и робота Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон)

Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) "организмов" (аниматов, агентов), способных приспосабливаться к внешней среде.

ANIMAL + ROBOT = ANIMAT

Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде.

Программа-максимум – попытаться проанализировать эволюцию когнитивных способностей животных и эволюционное происхождение человеческого интеллекта.

Предшественники: М.Л. Цетлин, М.М. Бонгард. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987.

Page 36: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Адаптивное Поведение

International Society for Adaptive Behaviorhttp://www.isab.org/

Журнал Adaptive Behavior

Конференции

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, Italy

Page 37: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

AnimatLab (Paris)

(Париж, руководитель – один из инициаторов анимат-подхода Ж.-А. Мейер)

Широкий спектр исследований адаптивных роботов и адаптивного поведения животных.

Подход AnimatLab предполагает, что система управления анимата может формироваться и модифицироваться посредством

1) обучения,

2) индивидуального развития (онтогенеза) и

3) эволюции.

http://animatlab.lip6.fr/index.en.html

Page 38: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

Лаборатория искусственного интеллекта в университете Цюриха (руководитель Рольф Пфейфер)

Основной подход – познание природы интеллекта путем его создания ("understanding by building").

Подход включает в себя

1) построение моделей биологических систем,

2) исследование общих принципов естественного интеллекта животных и человека,

3) использование этих принципов при конструировании роботов и других искусственных интеллектуальных систем.

Pfeifer R., Scheier C., Understanding Intelligence. MIT Press, 1999.

http://www.ifi.unizh.ch/groups/ailab/

Page 39: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

Лаборатория искусственной жизни и роботики в Институте когнитивных наук и технологий

(Рим, руководитель Стефано Нолфи)

Исследования в области эволюционной роботики и принципов формирования адаптивного поведения.

Nolfi S., Floreano D. Evolutionary Robotics: The Biology, Intelligence, and Technology of Self-Organizing Machines. Cambridge, MA: MIT Press/Bradford Books, 2000.

http://gral.ip.rm.cnr.it/

Page 40: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

Лаборатория интеллектуальных систем(Лозанна, Швейцария, руководитель Дарио Флориано)

Миссия лаборатории – исследовать и воспроизвести принципы, которые позволяют живым и искусственным организмам приспосабливаться к переменной и неизвестной внешней среде

Особый акцент на исследование взаимодействий в коллективах роботов

http://lis.epfl.ch

Page 41: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

Институт нейронаук Дж. Эдельмана (Калифорния) http://www.nsi.edu/

Направление исследований - поколения моделей мозга: Darwin-1, Darwin-2, …, Darwin-XI

NOMAD: Neurally Organized Mobile Adaptive Device:http://vesicle.nsi.edu/nomad/

1. The device needs to be situated in a physical environment

2. The device needs to engage in a behavioral task

3. The device’s behavior must be controlled by a simulated nervous system having a design that reflects the brain’s architecture and dynamics

4. The behavior of the device and the activity of its simulated nervous system must allow comparisons with empirical data

Page 42: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

NOMAD (Darwin-VII, способность к обобщению в реальной среде)

Page 43: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

NOMAD (Darwin-X, моделирование поведения мыши в лабиринте Морриса)

50 нейронных областей,

90000 нейронов,

1.4·106

синапсов

Neuroinformatics, 2005, Vol.3, No 3, PP. 197-221

Page 44: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Исследователи адаптивного поведения

В.А. Непомнящих. Моделирование спонтанной активности животных на основе анимат-подхода

А.А. Жданов. Схемы и модели автономного адаптивного управления на базе аппарата эмоций. Накопление знаний - одна главных компонент адаптивного управления

А.И. Самарин. Самообучающиеся роботы (с 1970-х годов)

К.В. Анохин. Нейробиологические подходы к исследованию аниматов

Л.А. Станкевич. Первые в России антропоморфные роботы. Нейрологические архитектуры систем управления гуманоидных роботов на базе когнитивных агентов

В.Г. Редько, М.С. Бурцев, О.П. Мосалов. Модели адаптивного поведения на базе эволюционных и нейросетевых подходов

Page 45: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Проект "Мозг Анимата". Архитектура многомодульной

нейросетевой системы управления анимата на базе теории ФС

П.К. Анохина

(Редько В.Г., Анохин К.В., Бурцев М.С., Манолов А.И., Мосалов О.П., Непомнящих В.А., Прохоров Д.В.)

Page 46: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Функциональная система по П.К. Анохину

Мотивация

Память

Эфферентные возбуждения

Обратная афферентация

Программадействия

АкцепторрезультатадействияПринятие

решения

ОА

ПАРезультатдействия

Параметрырезультата

Действие

ОА

Афферентный синтез

ПА – пусковая афферентация, ОА – обстановочная афферентация

Page 47: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Архитектуры Мозга аниматаВерсии:

2002 – Архитектура на основе метода обратного распространения ошибки. Есть предсказание будущих ситуаций, обучение – уточнение предсказаний

2004 – Архитектура на основе метода нейросетевых адаптивных критиков. Есть предсказание будущих ситуаций, есть оценка качества предсказываемых ситуаций. Обучение – на основе методов теории обучения с подкреплением

2006 – Архитектура на основе нейросетевых модулей, каждый из которых состоит из 1) Контроллера и 2) Модели. Контроллер формирует действия, Модель обеспечивает предсказание. Адаптация происходит путем 1) обучения и эволюции.

Page 48: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Системогенез и архитектура Мозга аниматаТеория системогенеза рассматривает закономерности формирования функциональных систем (ФС) в эволюции, индивидуальном развитии и обучении

В нашей модели:

Эволюция – источник «первичного» репертуара адаптивного поведения

Обучение – источник «вторичного» репертуара адаптивного поведения

Архитектура системы управления модульная, каждый модуль – отдельная ФС, каждый такт времени t (t = 0,1,2,…) активна только одна ФС, в которой формируется текущее действие и прогноз результата действия. После выполнения действия и прогноза активная ФС передает управление другой ФС.

Page 49: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Схема обучения Происходит самообучение в соответствии с наградами (положительное подкрепление) и наказаниями (отрицательное подкрепление).

Есть два режима обучения: грубый поиск и тонкая доводка.

Грубый поиск происходит при существенном рассогласовании прогноза и результата. Тонкая доводка – в остальных случаях.

При грубом поиске происходит реорганизация связей между ФС и формирование новых ФС, этот режим включает существенную случайную составляющую.

В режиме тонкой доводки обучение происходит путем настройки весов синапсов нейронных сетей в ФС, активной в текущий момент времени, и в ФС, бывших активными несколько предыдущих тактов времени. При этом усиливаются/ослабляются связи между входом и выходом в нейронных сетях Контроллеров при положительном/отрицательном подкреплении. Также происходит уточнение прогнозов, формируемых в нейронных сетях Моделей.

Page 50: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Познание законов природы и Модели «Мозга анимата»

Нейронные сети Модели в архитектуре «Мозга анимата» предназначены для познания закономерностей взаимодействия анимата с внешней средой.

В науке мы строим модели Природы. Пример: уравнения Максвелла – модель электродинамический явлений.

Как перейти от познания простых закономерностей к познанию законов природы?

Возможно ли проследить генезис научных моделей на основе исследований архитектур, подобных «Мозгу анимата»?

Page 51: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Модели адаптивного поведения в междисциплинарном контексте

Модели адаптивного поведения

Теория познания Исследования когнитивной эволюции

Природа естественного интеллекта (интеллект необходим для организации поведения)

Модели социальных систем

РобототехникаИскусственный интеллект

Page 52: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

ОТ МОДЕЛЕЙ ПОВЕДЕНИЯ К ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ

(коллективная монография, под редакцией В.Г. Редько, УРСС, 2006)Часть I. Ретроспектива

П.К. Анохин. Принципиальные вопросы общей теории функциональных системМ.М. Бонгард и сотр. Проект модели организации поведения - «Животное» М.Н. Вайцвайг, М.Н. Полякова. Об одном подходе к проблеме создания искусственного интеллектаА.И. Самарин. Мобильные роботы и самоорганизация в нейронных структурах - ретроспективный взгляд

Часть II. Современные исследованияВ.Г. Редько. From Animal to Animat - направление исследований адаптивное поведениеВ.А. Непомнящих. Модели автономного поискового поведенияВ.Ю. Рощин, А.А. Фролов. Нейросетевая модель выработки пространственной координации на основе сенсомоторного опытаД. В. Прохоров. Адаптивные критики и нейронные сетиМ.Н. Вайцвайг, М.Н. Полякова. О моделировании мышленияС.В. Корниенко, О.А. Корниенко. Искусственная самоорганизация и коллективный искусственный интеллект: на пути от индивидуума к социумуА.А. Жданов. Бионический метод автономного адаптивного управленияЛ.А. Станкевич. Когнитивный подход к управлению гуманоидными роботами

Page 53: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Робот АРНЭ (Л.А.Станкевич, СПГТУ, ОАО «Новая ЭРА», С-Петербург)

Page 54: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, ItalyПленарные доклады

Christian Balkenius "Building Large-Scale Models of Learning and Attention"

Guy Theraulaz "Collective behaviours in animal societies: a computational approach"

George Jeronimis "Biological sensors: Paradigms for Technological Innovation"

Deb Roy "The Whole Linguana"

J. Kevin O'Regan "Why feels feel the way they do: examples from space, color, and touch"

Page 55: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, Italy

Секции:

Perception and Control

The Animat Approach to Adaptive Behavior + Perception and Control

Collective and Social Behaviours

(Neuro)Evolution

Action Selection and Behavioral Sequences + Navigation and Internal World Models

Learning and Adaptation

Adaptive Behaviour in Language and Communication

Special Session: Colette Maloney, Head of Unit E5: Cognition, European Commission, DG Information Society and Media

Page 56: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, Italy

Семинары:

1. Swarm Robotics

2. Behaviour And Mind As A Complex Adaptive System (Fred Keijzer, Stefano Nolfi, Randal Beer, Frank Pasemann, Dario Floreano, Takashi Ikegami, Jun Tani, Ezequiel di Paolo, Marieke Rohde, Peter Paul Pichler)

3. Evolution And Emergence Of Linguistic Communication

5. Anticipatory Behavior In Adaptive Learning Systems (ABiALS 2006)

4. Bio-inspired Cooperative and Adaptive Behaviours in Robots

6. Adaptive Approaches For Optimizing Player Satisfaction In Computer And Physical Games

7. Multisensory Integration And Concurrent Parallel Memory Systems For Spatial Cognition (Jason G. Fleischer, NSI – “Darwin XI”)

Page 57: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, Italy

Workshop 2. Behaviour And Mind As A Complex Adaptive System

Fred Keijzer. What are agents anyway? On life, mind and sensorimotor surfaces

Stefano Nolfi. On the Multi-Level Organization of Behaviour

Randal Beer. Transient dynamics and multiple timescales in brain-body-environment systems

Frank Pasemann. Emergent Neurodynamics and the Accretion of Embodied Cognitive Capacity

Dario Floreano. Enactive Robot Vision

Takashi Ikegami. Homeochaos and Emergence of Sensory motor Couplings

Jun Tani. On the interactions between top-down anticipation and bottom-up regression in cognitive behavior

Ezequiel di Paolo. Sense-making and agency: Being and doing intertwined

Marieke Rohde and Ezequiel Di Paolo. An Evolutionary Robotics Simulation of Human Minimal Social Interaction

Peter Paul Pichler. Towards Minimising Design in a Complex Evolving Ecosystem

Page 58: Институт оптико-нейронных технологий РАН, Редько Владимир Георгиевич  vg redko@ gmail

Контуры плана будущих исследований Исследование нейросетевых схем адаптивного поведения

на базе проекта «Мозг Анимата»

Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов)

Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении

Исследование процессов формирования логических выводов в «сознании» животных.

{УС, УС --> БС} => БС – аналог modus ponens

Исследование коммуникаций, процессов возникновения языка