Страница 12 из 21
Многие целевые мотивации, даже поиск пищи и воды во время голода или жажды, появляются в процессе обучения. Из действий, которые изначально выполняются случайно, впоследствии отбираются и подкрепляются наиболее полезные. Поведение (новорожденного) становится направленным и мотивированным, потому что на него воздействует соответствующий внешний стимул.
Чтобы проиллюстрировать примером это высказывание, давайте представим новорожденного, который пытается ухватить за хвост сидящую рядом кошку. Его движения плохо скоординированы, и он просто машет ручкой поблизости от хвоста, иногда задевает его, но никак не может схватить. Вдруг совершенно случайно его рука и кисть выполняют слаженное движение, которое позволяет ему ухватиться за хвост на короткое мгновение. Малыш осознает, что случилось нечто хорошее. Его мозг начинает повышать вероятность повторения того же самого движения, когда в следующий раз ребенку захочется схватить кошку за хвост. По мере практики мозг оттачивает выполнение движения, и ребенок получает возможность терроризировать кошку когда угодно. Если посмотреть шире, то всякий раз, когда случается нечто хорошее, в будущем мозг повышает вероятность повторения шаблона мозговой активности, который предшествовал счастливому событию. Если перевести это в терминологию из предыдущей главы, то получается, что сигнал, исходящий из успешного генератора, набирает силу.
Благодаря наблюдениям мы пришли к выводу, что если вариант поведения приводит к достижению цели, то в будущем вероятность его повторения очень велика. Вариант поведения получает подкрепление. Знаменитый американский психолог Эвард Торндайк еще в 1905 году описал феномен подкрепления. По его мнению, «любой акт, который в определенной ситуации приводит к удовлетворению, начинает ассоциироваться с этой ситуацией. Когда она повторяется, то вероятность последующего повторения акта возрастает больше, чем когда-либо». В течение жизни мы получаем опыт, который помогает нам усваивать и совершенствовать способы достижения целей. Подкрепление – это самый простой и действенный метод приобретения новых навыков.
Вернемся к примеру об утолении голода в ресторане. Чтобы добыть себе еды, вы активируете генераторы сигналов, которые воспроизводят образ ресторана на углу, побуждают вас сесть на велосипед и крутить педали. Это шаблон мотивации, мыслей и действий, который приводит вас в ресторан. Теперь представим, что вы пообедали в ресторане, и еда оказалась очень вкусной. Неожиданно вкусной. Вы удовлетворили цель принятия пищи очень успешно. Генераторы сигналов, которые привели вас в ресторан, начинают посылать свои сообщения более настойчиво и в следующий раз: когда вы почувствуете голод, то скорее всего очень захотите снова попасть в ресторан на углу. Возможно, даже сядете на велосипед, чтобы снова оказаться там. Вы начнете получать удовольствие от мысли о ресторане, вспоминая его внешний вид и запах еды. Вариант поведения, который приводит вас в ресторан на углу, получает подкрепление.
Обучение приводит в соответствие все три уровня процесса осуществления выбора – мотивационного, когнитивного и двигательного. Подкрепление усиливает все три аспекта, потому что все они требуются для осуществления эффективного целевого поведения. Процесс подкрепления проходит полностью за пределами сознательного понимания. Он существовал еще до наших общих с миногами предков.
Обучение также работает в противоположном направлении. Если в результате выбранного варианта поведения случается что-то плохое, вероятность того, что подобное поведение повторится, снижается. Например, если вы отравились в ресторане на углу, то едва ли станете обедать там снова, даже когда почувствуете голод. А мысль о ресторане, его внешнем виде и запахе могут вызвать у вас тошноту. Это называется негативное подкрепление.
Чтобы осуществилось подкрепление, должен возникнуть обучающий сигнал. Он изменяет способ работы нейронных цепей в базальных ганглиях. При этом действия с хорошей ответной реакцией закрепляются, а с плохой – отсеиваются. Большинство ученых полагают, что обучающий сигнал в мозге производят удивительные молекулы дофамина.[35]
Обучающая молекула
Росс МакДевитт, стажер-исследователь из Национального института здравоохранения в городе Балтимор, аккуратно сажает подопытную мышь в пластиковую клетку и присоединяет к ее голове тонкий волоконно-оптический кабель, там же расположен миниатюрный коннектор. МакДевитт пользуется передовым методом исследования, который получил название оптогенетики, чтобы воздействовать на клетки мозга в вентральной тегментальной области (вентральной области покрышки). Как мы уже выяснили в предыдущей главе, вентральный тигментум посылает дофаминовые волокна в главный мотивационный центр мозга – вентральный стриатум (рис. 14). Волокна выделяют молекулы дофамина, которые изменяют функцию клеток вентрального стриатума и прилежащих к нему других отделов мозга. Этот процесс оказывает влияние на поведение. Мы уже говорили о том, что высокий уровень дофамина повышает вероятность того, что власть над поведением перейдет в руки определенного генератора сигналов. Дофамин оказывает и более тонкое воздействие на организм. Фактически дофамин является средством подкрепления.
Рис. 14. Дофаминовая связь вентральной тегментальной области и вентрального стриатума. По этому пути проходит подкрепление мотивации и обучение.
В ходе эксперимента МакДевитт вызывает всплеск дофамина в вентральном стриатуме одним щелчком выключателя. Эксперимент наглядно демонстрирует эффективность такого способа обучения и мотивировки.
В клетке у мышки стоит маленькая коробочка. Каждый раз, когда мышь трогает носом коробочку, к датчику на ее голове по кабелю поступает световой сигнал. Сигнал активизирует нейроны в вентральной области покрышки, они выбрасывают порцию дофамина в вентральный стриатум и прилежащие отделы мозга. Но в начале эксперимента мышь об этом ничего не знает. Когда она впервые попадает в клетку, то не проявляет заинтересованности к коробочке. Впервые она дотрагивается до нее носом случайно, из простого любопытства. Всякий раз, когда мышь тычется носом в коробочку, она разом испытывает мышиный эквивалент откушенной шоколадки, секса и выигрыша в лотерею.
Проходит совсем немного времени – и мышь дотрагивается носом до коробочки все чаще. «Мы обнаружили, – говорит МакДевитт, – что мыши начинают сходить с ума от удовольствия. Им этот процесс очень нравится». Хотя изначально мышь соприкасается с коробкой из любопытства, вскоре она понимает исключительную важность этой вещи. Мыши МакДевита в итоге тыкались носом в коробочку со скоростью восемь сотен раз в час, игнорируя все окружающее их пространство. В ходе других опытов над крысами ученые зафиксировали, что животные успевали тыкать носом в коробочку пять тысяч раз за час, чтобы почувствовать стимуляцию вентральной тегментальной области. Они совершали это движение чаще, чем раз в секунду! Другими словами, всплеск дофамина в вентральном стриатуме подкрепляет действие.
На клеточном уровне дофамин взаимодействует с нейронными связями в базальных ганглиях, которые только что проявляли активность, и повышает вероятность того, что те же самые нейронные связи вновь будут задействованы. Таким образом, вы захотите повторить снова любое действие, которые совершаете на момент дофаминового всплеска, если подходящая ситуация повторится. Вентральная тегментальная область говорит: «Мне понравилось то, что сейчас произошло. Я, пожалуй, выплесну дофамин в вентральный стриатум, чтобы в следующий раз произошло то же самое».
Конечно, МакДевитт продемонстрировал гипертрофированную форму подкрепления, потому что воздействовал непосредственно на вентральную область покрышки. Но этот процесс в умеренной степени протекает в нашем мозге ежедневно! Когда вы удовлетворяете запрос на тройной чизбургер с беконом, в мозге происходит короткий дофаминовый всплеск, который подкрепляет ваше «хорошее» поведение. Таким образом дофамин учит нас, как следует себя чувствовать, что думать и как себя вести, чтобы достичь основополагающих целей. При этом совершенно не заботится о том, поддерживает ли эти идеи рациональная, сознательная часть мозга. Присутствие дофамина в вентральном стриатуме имеет огромную важность для закрепления мотивации, например запоминания, какую еду следует хотеть, а какой избегать.
35
Некоторые ученые отрицают причастность дофамина к процессу обучения. Кент Берридж – активный сторонник этой идеи. В этой книге я подробно не освещаю споры вокруг дофаминового подкрепления. Рекомендую читателям, которые имеют отношения к научным кругам и ищут альтернативную позицию, прочесть работу Берриджа по психофармакологии «Споры о роли дофамина в системе поощрения», 2007.