Страница 5 из 13
Таким образом, вероятность, с которой прогнозируется событие В в случае наступления события А, равна nBN, где – число карточек В среди всех N карточек в ящике А. Система подготавливается к действиям, соответствующим событиям А, В, С,, в соответствии с величиной вероятностного прогноза nA/N, nB/N, nC/N.
Здесь для прогнозирования используется вся память, накопленная за всю «жизнь» системы. В частном случае, если сразу после события А всегда следовало только определенное событие (например, В), ящик А будет заполнен только карточками В, и в этом случае событие В будет прогнозироваться после А с вероятностью 1.
Однако такая «память на всю жизнь» оказывается весьма ненадежной, если система находится в среде, вероятностные характеристики которой изменяются во времени. Чтобы сделать прогнозы хоть сколько-нибудь соответствующими изменившейся среде, система должна «прожить» в этой среде отрезок времени, соизмеримый с уже прожитой ранее «жизнью». Система оказывается косной, плохо адаптирующейся к изменяющимся внешним условиям. При этом, чем «старше» система, тем труднее она приспосабливается к изменяющейся среде. Опыт, приобретенный системой за последнее время, играет все меньшую роль, по сравнению с длительно накапливавшимся старым опытом. Таким образом, чтобы хорошо приспосабливаться к изменчивой среде, способность забывать не менее полезна, чем способность запоминать.
Наша система окажется более адаптивной, если она будет осуществлять вероятностное прогнозирование, опираясь не на «память всей жизни», а лишь на опыт последнего периода.
Если произошло событие А, то модель просматривает N карточек, последними поставленных в ящик А, и подсчитывает, какую часть от N составляют карточки событий А, В, С и т. д. В соответствии с полученными величинами и прогнозируются вероятности возникновения событий А, В, С,, и осуществляется преднастройка к соответствующим действиям.
Система, способная не только запоминать, но и забывать, т. е. использующая для прогнозирования лишь недавний опыт, может адаптироваться к изменяющимся условиям. В частности, ее прогнозирование достаточно для выработки классического условного рефлекса и его угашения. Но недостатки в прогнозировании такой системы еще весьма существенны.
При таком обращении к прошлому опыту весьма важен вопрос о рациональном выборе числа N. При N=1 прогноз носит не вероятностный, а жестко детерминированный характер: всегда предсказывается с вероятностью Р = 1 (однозначно) то событие, которое в последний раз следовало за событием А. При N=1 хорошее прогнозирование будет обеспечено только в том случае, если вслед за А всегда следует одно и то же событие. Однако такая ситуация встречается разве лишь в хорошо поставленном эксперименте по выработке условных рефлексов.
При маленьком N система окажется очень «доверчивой» в своем прогнозе; влияние на прогноз случайного, но недавно встретившегося события будет значительным; система будет быстро менять прогноз даже под влиянием случайных изменений среды. При слишком большом N модель, наоборот, окажется слишком «косной» в своем прогнозе, недостаточно чуткой к изменениям вероятностных характеристик среды. Если N равно числу всех карточек в ящике (т. е. модель обладает «бесконечно большой» памятью – в пределах всей ее жизни), то вероятностный прогноз будет достаточно хорошим лишь до тех пор, пока будут оставаться стабильными вероятностные характеристики «среды обитания» модели. Если вероятностная структура среды изменится, модель начнет выдавать неверные прогнозы и будет медленно приспосабливаться к новой среде.
Как видим, вероятностный прогноз оказывается неточным как при слишком малом N («доверчивая» модель), так и при слишком большом N («косная» модель). Рациональный выбор N зависит от того, в какой среде работает модель, как быстро меняются вероятностные характеристики этой среды.
Описанный выше вариант памяти носит характер «все или ничего»: начиная с какого-то момента все события помнятся одинаково хорошо, более же ранние события как бы нацело вычеркнуты из памяти.
Можно усложнить характер забывания в нашей модели. Пусть карточки в картотеке имеют некоторый «весовой коэффициент давности» события: лучше помнится то, что было недавно. Первые N1карточек, стоящие в ящике (недавние события), имеют коэффициент a1. Следующие N2 карточек (более давние события) имеют коэффициент а, меньший чем а. Следующие N3 карточек (еще более давние события) имеют еще меньший коэффициент а3 и т. д.
В величину вероятностного прогноза события В при условии, что непосредственно перед тем было А, входят: доля карточек В среди первых N1 карточек в ящике А с коэффициентом а1, доля карточек В среди следующих N2 карточек в ящике А с коэффициентом а2, доля карточек В среди следующих N3 карточек в ящике А с коэффициентом а3 и т. д. Вероятность того, что наступит событие В при условии, что произошло событие А, будет такой:
где а1>а2>а3….
Это и есть вероятность, с которой прогнозируется наступление события В в случае, если произошло А. Точно так же для любого другого события С:
При такой организации памяти моделируется уже не только вероятностное прогнозирование и, в частности, классический условный рефлекс; но и еще одно интересное явление, которое наблюдается в опытах по переделке условных рефлексов.
Пусть собака в определенных условиях после звонка всегда (в течение достаточно долгого времени) получала пищу. В результате в этих условиях после звонка у собаки начинается усиленное выделение слюны – результат того, что попадание пищи в рот прогнозируется с большой вероятностью. Однако в очередной раз после звонка собака не получила пищу, а последовало болевое раздражение лапы. То же повторилось в следующий раз после звонка – и еще несколько раз. Теперь уже в ответ на звонок собака отдергивает лапу, а усиления слюноотделения не наблюдается. Собака ведет себя так, как будто она «забыла», что ее кормили после звонка, но «помнит», что после звонка было больно лапе. Однако опыт показывает, что собака ничего не «забыла». Если оставить такую собаку на достаточно длительное время в покое (не кормить после звонка и не пользоваться током), а затем привести в лабораторию и включить звонок, у нее может возникнуть усиленное слюноотделение. Собака как бы «вспомнила», что ее когда-то кормили после звонка, и как бы «забыла» более недавние события – болевое раздражение после звонка.
Похожие явления можно наблюдать и у человека. В квартире во время ремонта перенесли выключатель – он был слева от двери, а стал справа. Первое время хозяин, заходя в квартиру, по привычке шел в темноте налево. Но через небольшое время он переучивается и идет уже к выключателю направо. Но если в это время хозяин уедет на месяц, то, вернувшись, он может снова начать искать выключатель на левой стороне, как говорят, «по старой памяти». Человек как бы «забыл» более недавний кратковременный опыт и как бы «вспомнил» ранее «забытый», более старый, но долговременный опыт.
Такое «забывание» старого при изменении среды и «вспоминание» после перерыва обеспечивается в модели с «весовым коэффициентом давности». Недавние события могут «перевешивать» даже длительный, но более старый опыт, благодаря высокому «весовому коэффициенту давности» (площадь S2 на рисунке 1 больше площади S1). По прошествии длительного времени, когда «весовой коэффициент давности» тех же событий уменьшится, опыт этого короткого периода уже не доминирует над длительным опытом (площадь S2 меньше площади S1). Но если теперь вновь восстановить такие же вероятностные характеристики среды, как в период t1t2, то обучение уже пойдет быстрее, чем в первый раз: площадь S3 суммируется с площадью S"2; поэтому время повторного обучения t3t4 окажется меньше времени первичного обучения t1t2. Повторное обучение требует тем меньшего времени, чем быстрее оно проводится после первичного обучения и чем длительнее было первичное обучение.