Страница 6 из 13
В модели, как она описана выше, вероятностное прогнозирование осуществляется по отношению к одному событию, предшествующему прогнозируемому событию. Ясно, однако, что такой прогноз не может быть достаточно надежным в среде, в которой имеются связи между событиями не только рядом стоящими, но и более отдаленными (марковские последовательности[2] с «глубиной марковости» 2 и больше). Так, например, событие D может следовать с высокой вероятностью за событием В, если перед В было А, и с низкой вероятностью, если перед В было С. В описанной выше модели прогноз вероятности наступления события D после В осуществляется без учета того, какое событие предшествовало В – в ящике В не содержится информации о том, что предшествовало событию В.
Рис. 1. Весовой коэффициент давности событий.
На оси ординат – весовой коэффициент давности, на оси абсцисс – давность событий: I – кратковременный недавний опыт «перевешивает» более длительный, но давний; II – по прошествии некоторого времени этот «перевес» утрачивается; III – повторное обучение требует меньше времени, чем первоначальное
Наряду с описанными выше ящиками, на передней панели которых записано одно какое-либо событие (ящики первого порядка), заведем в нашей модели еще ящики второго порядка – такие ящики, на передней панели которых записаны два последовательных события: АА, АВ, АС,, BA, ВВ, ВС…, СА, СВ, СС,…. Карточка D, поставленная, например, в ящик АВ, означает, что событие D произошло после события В, перед которым было событие А. В приведенном выше примере карточка D будет частой карточкой в ящике АВ и редкой – в ящике СВ.
Ящики второго порядка, как следует из изложенного, обеспечивают лучшее вероятностное прогнозирование, чем ящики первого порядка. Еще более надежное прогнозирование обеспечивают ящики третьего порядка, на которых записаны три последовательных события: наличие большого числа карточек D в ящике DAB, например, означает, что если после D следовали события А и В, то с высокой вероятностью вновь произойдет событие D.
Ящики второго и более высоких порядков не только обеспечивают лучший прогноз, чем ящики первого порядка, но и дают возможность выработки «ситуационных» условных рефлексов. Представим себе такую ситуацию. Физиологи А и В работают на одних и тех же собаках, но в разное время. Физиолог А подкрепляет звонок С пищей D. Физиолог В – легким уколом лапы Е. В первом случае у собаки возникает пищевая реакция, во втором – оборонительная. Если звонка нет, собака не реагирует пищевой или оборонительной реакцией на вид физиологов А и В. На звонок же она после выработки условных рефлексов реагирует по-разному. Если перед звонком С она видела физиолога А, то она, не дожидаясь подкрепления D, отвечает пищевой реакцией. Если перед звонком С она видела физиолога В, то, не дожидаясь подкрепления Е, реагирует отдергиванием лапы. В модели это обеспечивается тем, что карточки D (пища) попадают в ящик АС, а карточки Е (укол) – в ящик ВС. Поэтому при возникновении комплекса событий А и С прогнозируется высокая вероятность возникновения события D; если эта вероятность P(D/AC) близка к единице, то наблюдается пищевая реакция. При возникновении же комплекса событий В и С прогнозируется высокая вероятность возникновения события Е; если Р(Е/ВС) выше некоторого «порогового» уровня, наступает оборонительная реакция.
Наличие в модели ящиков высоких (второго и выше) порядков позволяет моделировать не только классические условные рефлексы, описанные И. П. Павловым, но и условные рефлексы, названные Ю. Конорским условными рефлексами второго типа (в отличие от классических – условных рефлексов первого типа). Условные рефлексы второго типа известны в литературе и под другими названиями – инструментальных условных реакций или оперантного поведения.
В чем же различие между условными рефлексами первого и второго типа?
Общая схема условного рефлекса первого типа может быть записана символически следующим образом. Исходное состояние системы таково, что стимул SA вызывает реакцию RA (SA→RA). Другой стимул SB реакции RA не вызывает. Если же вслед за стимулом SB следует стимул SA, то реакция RA возникает (SBSA®RA). В этом случае принято говорить, что условный раздражитель SB «подкрепляется» безусловным раздражителем SA. Если теперь такое совместное действие стимулов SB и SA повторяется достаточное число (n) раз, то уже одного стимула SB оказывается достаточно, чтобы вызвать реакцию RA. Коротко это будет выглядеть так:
SA вызывает RA
SB не вызывает RA
SBSA вызывает RA
………….
…………. n раз
………….
SB вызывает RA.
Для характеристики условного рефлекса второго типа опишем один из экспериментов Конорского. Собаку оставляли в пустом помещении. Время от времени собака без видимой причины лаяла. Каждые несколько минут раздавался стук метронома, и если собака в этот момент лаяла, то из пищевого контейнера падал кусочек мяса. Вскоре собака стала лаять в экспериментальной обстановке постоянно. Но лай «подкреплялся» мясом только тогда, когда стучал метроном. В результате собака начинала лаять именно тогда, когда стучал метроном. Именно так осуществляется дрессировка животных, когда животное учат в ответ на определенный сигнал выполнять определенное действие.
Если мы теперь сравним условные рефлексы первого и второго типа, то увидим, что за сходством терминологии здесь скрывается существенное различие явлений. В первом случае «подкрепляющим» называют такой стимул, который «безусловно» вызывает у животного вырабатываемую реакцию (SA→RA). Так, в опытах с пищевыми условными рефлексами мясо (подкрепляющий стимул) «безусловно» вызывает пищевую реакцию – слюноотделение. Во втором же случае вообще нет такого стимула, который «безусловно» вызывает лай. «Подкрепление» же (мясо) играет другую роль – роль вознаграждения. В условных рефлексах второго типа нет аналога ситуации SA→RA
В нашей модели наличие ящиков первого порядка достаточно для моделирования классических условных рефлексов, но не может обеспечить реализации условных рефлексов второго типа. Иначе обстоит дело, если использовать ящики высших порядков. Наличие карточки F в ящике ЕС моделирует след в памяти того, что событие F произошло после С, которому предшествовало Е. Из вышесказанного ясно, как ящик ЕС может быть использован для того, чтобы осуществить вероятностное прогнозирование предстоящих событий, в частности предсказать вероятность наступления события F.
Но ящики второго (и более высокого) порядка могут быть использованы еще и другим образом. Под каждой буквой (в нашем примере F, Е, С) можно понимать любое событие, воспринимаемое животным. Таким событием может быть и внешнее явление, и собственное действие животного: сгибание лапы, лай и т. п.
Пусть F будет означать появление мяса, Е – стук метронома, С – лай. Послышался стук метронома Е. Собаке же хочется мяса F. Что надо сделать, чтобы с наибольшей вероятностью получить мясо? В памяти-картотеке просматриваются ящики ЕА, ЕВ, ЕС,, где А, В, С… – различные действия собаки. В каждом из этих ящиков подсчитывается вероятность наступления желаемого события (появление мяса). Таким образом, используя ящики второго порядка, можно не только осуществлять вероятностное прогнозирование внешних событий, но и строить планы собственных действий С, приводящих с наибольшей вероятностью в заданных условиях (произошло Е) к желаемому результату («хочу мяса» – Е). Еще лучше эта задача решается с ящиками более высоких порядков. Ящики n-го порядка позволяют строить планы действий, состоящие из n минус 1 шагов, приводящих с наибольшей вероятностью к желаемому результату в заданных условиях. С помощью ящиков n-го порядка можно строить и более короткие планы действий – из n минус к шагов, но зато к первых элементов будут использованы для более точного прогноза.
2
Марковской (по имени математика А. А. Маркова) называют такую случайную последовательность, составленную из элементов А, В…, К, в которой имеется зависимость между элементами. Эта зависимость выражается в том, что элемент D определяет вероятность P(E/D) того, что следующим в последовательности будет Е. Величина P(E/D) называется переходной вероятностью или условной вероятностью того, что при условии появления элемента (или возникновения события) D последует Е.