Главная arrow Поиск arrow Самообучение
Как начинался компьютер
Компьютерная революция
Двоичный код
Разработки военных лет
Интегральные микросхемы
Микрокомпьютер
Персоны
Сеть
Язык компьютера
Развитие ПО
Гибкие системы
Средства разработки
Информатика
Вычислительная наука
Операционные системы
Искусственный интеллект
Предыстория
Поиск
Знания и рассуждения
Логика
Робототехника
 

 
Самообучение Печать

Скорость обучения - это простое и конструктивное испытание интеллекта, которое можно использовать в качестве теста уровня сознания живого существа или машины. Однако способности существа лучше характеризуются скоростью самообучения, чем скоростью обучения, которая зависит от активности учителя и от способа обучения. Трудно вычесть влияние учителя, если мы сравниваем способности, например, осьминога и вороны.

Как происходит самообучение

  • Существо замечает, что некоторое обстоятельство важно.
  • Если "понравилось", то существо пытается повторить эту ситуацию.
  • При повторении ситуации существо пытается подобрать более выгодное поведение.
  • В результате оно использует обнаруженный факт довольно успешно.

Ключевое различие между обучением и самообучением состоит в способе выработки поведения. При обучении учитель показывает или прямо стимулирует правильное поведение. Он ставит оценку именно за элементы поведения, то есть за промежуточные этапы работы. Обучая детей, роботов и нейронные сети мы применяем промежуточные оценки за каждый успех или неудачу. При этом только учитель способен оценить эффективность каждого этапа обучения.

При самообучении существо само изобретает правильное поведение, получая "стимул" (пища, избежание опасности) только за конечный результат. Между правильным поведением и "стимулом" имеется логическая причинная связь, которая обычно далеко не очевидна. Решение проблемы "За что именно был получен стимул" - одна из основных задач механизма сознания.

Я оцениваю качество моих "разумных" алгоритмов по скорости их самообучения в некоторых стандартных задачах. Интересно было бы сравнить разные алгоритмы с животными в похожих тестах. Где сейчас находится мой алгоритм сознания? Между гидрой и улиткой, или между муравьём и бабочкой?

Самообучающаяся бабочка

Сейчас у меня есть простейшая демонстрация адаптирующегося искусственного интеллекта, которая способна впечатлить пока только тех, кто понимает.

Программа показывает маленький мир, в котором живут бабочка и цветок. Бабочка специально сделана настолько простой, как только я смог себе представить. Она имеет чувства (органы чувств), моторную систему (органы действий) и мозг.

Органы бабочки

  • Чувство цветка, или желание. Wish=0 означает, что желание удовлетворено. Бабочка ощущает это при помощи специального органа, когда она касается цветка. Wish=1 означает, что бабочка имеет желание.
  • Зрение определяет, с какой из четырёх сторон света находится цветок. При помощи зрения бабочка чувствует одно из четырёх качеств, которые позже ассоциируются у неё с направлениями к цветку. Номера направлений используются мозгом как четыре не связанных друг с другом качества, которые первоначально не имеют смысла.
  • Движение. Моторная система интерпретирует выработанный мозгом сигнал, как команду двигаться в одном из четырёх направлений. Только моторная система "знает", что это за направления, и как нужно двигаться.
  • Мозг получает сигналы от органов чувств (сенсоров) и подаёт сигналы моторной системе. Единственный сигнал, имеющий смысл для мозга, это "желание". Мозг пытается выработать такой выходной сигнал, чтобы удовлетворить желание.

Движение бабочки довольно медленное и хаотичное. Но правильная ориентация в пространстве развивается у неё достаточно быстро. Постепенно она начинает двигаеться менее случайно, и почти в правильном направлении. Она принимает решение об этом направлении ассоциативно, на основании своего предшествующего опыта.

Но и живой мозг, и живые органы чувств, по-моему, тоже гораздо более абстрактны (то есть, более универсальны), чем многие думают, и готовы от рождения к жизни в любом мире. Именно это усиливает сознание организма. Никакие цели, желания и стремления не присущи мозгу изначально. Это машина, способная только на творчество, то есть на поиск и проработку "поведения".

В моей модели ощущение, поведение и желание - одинаково слепые информационные потоки для неопытного мозга. Когда я говорю, что мозг ищет правильное поведение, это означает, что он пытается изменить данные во всех информационных потоках, чтобы "предсказать" удовлетворение желания. Мозг не отличает "объективных" данных от созданных им самим "субъективных". Но организм-хозяин только некоторые потоки использует, как "поведение", в то время как другие потоки информации являются "ощущениями", неподконтрольными командам мозга. Абстрактный мозг не знает, что эти потоки чем-то отличаются и что некоторые из них являются "входящими", а некоторые "исходящими" для организма.

"Желание" имеет биологическую аналогию. Я думаю, что живой мозг получает часть информации по нервным волокнам, а часть - из биохимического состояния организма. Последнее и моделируется сигналом "Желание". Оно зависит от биохимического (и эмоционального) состояния (самочувствия) организма. Такое "химическое желание" имеет предопределённый смысл для мозга. Алгоритмически, этот смысл состоит в том, что мозг лучше запоминает своё состояние когда желание удовлетворено. Другие сигналы имеют чисто информационный смысл. Бабочка чувствует себя плохо (желание не удовлетворено), и на основании прежнего опыта она выбирает (то есть вспоминает) такое поведение, в результате которого она будет чувствовать себя хорошо (желание удовлетворено).

Когда вы запускаете программу, бабочка не имеет опыта. Её зрение (но не мозг) видит цветок, так как оно устроено, чтобы видеть. Её моторная система устроена так, что она может перемещать "тело" бабочки в одном из четырёх направлений. Мозг "не понимает", что бабочка чувствует себя плохо, так как она ещё ни разу не касалась цветка и "чувство цветка" не вырабатывало "гормоны удовольствия", способствующие запоминанию.

Ассоциация стимула с поведением создаёт условный рефлекс

Вначале мозг (единственный творческий мотор в бабочке) не имеет цели, намерений, стремлений. Он не понимает, что бабочка видит цветок, и что это означает. Он не понимает, что может двигаться и может чувствовать себя хорошо. Цветок абсолютно не привлекает внимания неопытного существа. Он начинает привлекать внимание только по мере накопления опыта. Через некоторое время, после десятков случайных касаний цветка, у бабочки возникает условный рефлекс на вид цветка. Бабочка видит цветок и понимает, что нужно делать, чтобы получить удовольствие. Она приобретает цель, которая представляет собой желание плюс способ его удовлетворения.

Я думаю, что сложность и богатство целей живого существа развиваются из богатства условий окружающего мира по мере того, как это существо периодически удовлетворяет свои простые желания. Чем богаче чувства и желания, тем разумнее поведение. Я думаю, что живая бабочка имеет более развитые органы чувств и более слабый мозг, чем моя кибер-бабочка.

Механизм предвидения

Прогноз возможен только путём "воспоминаний"

Большинство природных явлений могут быть описаны в виде физических моделей, содержащих дифференциальные уравнения. "То, что произойдёт в ближайшие секунды" рассчитывается из этих уравнений. Но мозг и отдельные нейроны не могут использовать предопределённые уравнения для предвидения, поскольку биологически одинаковые нейроны должны уметь предвидеть события различной физической природы. Единственный способ такого "универсального" предвидения, на который способны нейроны – это "воспоминание о своих прежних впечатлениях". Это похоже на "решение" уравнений по таблицам. Этот способ гораздо хуже и слишком конкретный по сравнению с решением уравнений. Но другого не дано.

Поэтому простейший природный механизм самообучения использует "индукцию", то есть непроизвольное обнаружение аналогий и повторов при сравнении своих текущих ощущений с образами ощущений, сохранёнными в ассоциативной памяти. Ассоциативное узнавание приводит также к самоорганизации повторяющегося опыта в виде причинно-связанных цепочек событий. Предвидение происходит потому, что существо узнаёт не "текущее состояние", а текущий процесс в динамике. "Ближайшее будущее" ассоциативно связано с текущим состоянием потому, что, как это состояние, так и его будущее, имеют их причинно связанные аналоги в прошлом. Ближайшее будущее - это будущее узнаваемого прошлого события.

Нейрон должен обладать творчеством и успешно работать в команде

Способность к обучению обеспечивается нервной системой. Поскольку число нейронов у разных существ может отличаться в миллионы раз, приходится признать, что способностью к обучению, видимо, обладает структура из любого количества нейронов, и даже один нейрон. Значит, каждый нейрон должен обладать способностью к предвидению и к самообучению. Хотя, может быть, зарегистрировать эту способность у одиночного нейрона почти невозможно. Кроме того, нейроны в нервной системе и в мозгу организованы так, что потенциал адаптации увеличивается при увеличении количества нейронов. Также должны быть организованы искусственные нейронные структуры.

Определение творчества

Творчество – это решение задач, способ решения которых неизвестен. Конечно, ту часть задачи, для решения которой имеются известные методы, можно решить и без творчества. Но та часть задачи, к которой даже неизвестно как подступиться, может быть решена только путём случайной догадки.

Творчество - это способность получения новых результатов без учителя, то есть путём самообучения. При решении творческой задачи, то есть такой, которую неизвестно как решать, творец делает разные (случайные или осмысленные) попытки решения в окрестности того, что ему известно. Благодаря его заинтересованности он более чем другие способен оценить, что какая-то из попыток приближает его к решению задачи. После этого происходит исследование вновь открывшихся возможностей. И так далее. Если творец ошибся в самооценке, то он может зайти в тупик и не решить задачу. Не каждому везёт.

В этом случае учителем является сознание, которое оценивает и выбирает варианты, достойные более детального изучения. Такое самоконтролируемое обучение похоже не на броуновское блуждание, а на поиск максимума методом последовательного подъёма в случайных направлениях. Простейшее самообучение похоже на естественный отбор поведений, а осознаваемое творчество похоже на искусственный отбор идей.