Страница 28 из 53
Предыстория и первые шаги машинного обучения
Сегодня машинное обучение (Machine Learnung, ML) связывают исключительно с ANN, что совершенно естественно, но не только ANN обучаемы, есть и иные обучаемые автоматы. Впервые мысль об обучении машины сформулировал автор шашечной программы Артур Самюэль (Arthur Samuel, 1901–1990) в далеком 1959 году! В статье, описывающей эксперимент машинной игры, он дал следующее определение ML: «Машинное обучение это научное направление, изучающее подходы к тому, как побудить компьютеры к полезным действиям, не обращаясь к программированию». Спустя 60 лет не остается ничего иного, как восхититься его прозорливостью, хотя ML по Самюэлю имеет мало общего с тем, как понимается обучение сегодня, когда обучается не программа, работающая на машине, как у него, а нейронная сеть, работа которой поддерживается машиной. Предложенный им алгоритм не делил процесс игры на обучение (training) и исполнение (inference), как это делается при обучении ANN, он использовал дерево поиска игровых позиций, достижимых из текущего состояния, с применением алгоритма альфа-бета-отсечения (alpha-beta pruning). Алгоритм отсечения перебирает и оценивает все ветви дерева поиска до тех пор, пока не найдено значение хуже, чем вычисленное для предыдущих ветвей. Этот подход впоследствии часто использовали для программирования различных антагонистических игр, в том числе очень модной одно время машинной игры в шахматы. Суть обучения в данном случае заключалась в том, что веса оценочной функции изменяются в процессе игры. В начальный период истории AI на метод альфа-бета-отсечения возлагались большие надежды, на него делали ставку такие апостолы того времени Аллен Ньюэлл и Герберт Саймон, Джон Маккарти и Марвин Минский.
Этот же метод независимо от них был открыт отечественным ученым А. Л. Брудно (1918–2009), назвавшим его «методом граней и оценок». Будучи изначально математиком, Александр Львович вел в Математическом институте им. В. А. Стеклова АН СССР семинар, содействовавший тому, что у многих его участников позднее возник интерес к электронным вычислительным машинам и кибернетике. В начале 1950-х годов А. Л. Брудно был привлечен член-корреспондентом АН СССР И. С. Бруком к созданию программ для разрабатывавшейся под его руководством ЭВМ М-2. Позже Брудно работал Институте электронных управляющих машин (ИНЭУМ).
Менее известны работы Михаила Львовича Цетлина в области близкой к ML. Цетлин – один из представителей плеяды выдающихся математиков-кибернетиков 50–70-х годов, ученик одного из крупнейших математиков XX века Израиля Моисеевича Гельфанда. Он работал над созданием устройств, которые могли бы демонстрировать целесообразное поведение в случайных средах. Предпосылками исследований стали прежние работы Цетлина, связанные с изучением поведения подопытных животных. Он интерпретировал поведение автомата как поведение животного, контактирующего со средой, которая в зависимости от его поведения наказывала или поощряла, при этом автомат мог обучаться, то есть стремиться к уменьшению числа наказаний за счет изменения своего внутреннего состояния.
Более полувека эта часть научного наследия Цетлина оставалась известна лишь узкому кругу отечественных специалистов, однако в апреле 2018 года вышла работа Гранно Оле-Кристофера, профессора норвежского Университета Агдера, директора Центра исследований в области искусственного интеллекта, имеющая необычный заголовок «Машина Цетлина. Теоретико-игровой бандитский подход к оптимальному распознаванию образов с пропозициональной логикой» (The Tsetlin Machine – A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic). С бандитизмом этот подход, конечно, не имеет ничего общего – это просто метафора. Работы Цетлина стали импульсом к развитию теории многоруких бандитов, названных так по аналогии с «однорукими бандитами», устанавливаемыми в казино: в теории вероятностей задачей многорукого бандита называют задачу, в которой ограниченный набор ресурсов необходимо распределить между противоборствующими сторонами. В своей статье Оле-Кристофер показал, как можно сконструировать самообучаемую машину на предложенных Цетлиным принципах в сочетании с пропозициональной логикой (раздел символической логики, изучающий образованные из простых сложные высказывания и их взаимоотношения).
В СССР еще несколько ученых занимались вопросами машинного обучения, но не нейронных сетей, а иных автоматов. Среди них киевлянин Алексей Григорьевич Ивахненко. В 1965-м году он опубликовал работу с описанием обучающих алгоритмов. Известный оппортунист и диссидент машинного обучения Юрген Шмидхубер, к которому мы еще вернемся, считает Ивахненко не только отцом глубокого обучения, но и метода обратного распространения ошибки (backpropagation). Впрочем, этот метод настолько очевиден, что его автором признают не менее 10 человек. Среди них американских специалистов в области оптимального управления Артура Брайсона и Генри Келли.
Особое место в этой когорте принадлежит Владимиру Наумовичу Вапнику, автору машины опорных векторов (support vector machines, SVM), впервые предложенной им в 1963 году вместе с Александром Яковлевичем Лернером в статье «Узнавание образов при помощи обобщенных портретов». Эта работа нашла продолжение в совместно статье Вапника с Алексеем Яковлевичем Червоненкисом «Об одном классе персептронов» (1964). SVM реализуют уникальный по сравнению с другими алгоритмами способ реализации машинного обучения. В том же году и в том же журнале «Автоматика и телемеханика» вышла статья трех авторов М. А. Айзерман, Э. М. Браверман и Л. И. Розоноэр «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы». В полном объеме статистическая теория обучения на базе SVM изложена в книгах Вапник В. Н., Червоненкис А. Я. «Теория распознавания образов» (1974) и Вапник В. Н. «Восстановление зависимостей по эмпирическим данным» (1979). Они были переведены на английский и немецкий языки. В. Н. Вапник остается единственным представителем отечественной научной школы среди ученых, получивших признание за их вклад в машинное обучение.
Обучение по Хеббу
И первые обучаемые шахматные программы, и машина Цетлина, и многое другое из 60–70-х годов для современного исследователя представляет исключительно исторический интерес. То, что мы понимаем под ML сегодня, началось с работы Дональда Хебба, описанной им в книге «Организация поведения: нейропсихологическая теория» (The Organisation of Behaviour, 1949), где он распространил принципы ассоциативного обучения на ANN, его подход называют Hebbian Learning (HL). Предпосылки к HL заимствованы из биологии, и они остаются актуальными вплоть до наших дней. До него нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации.
Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.
Хебб показал возможность обучения посредством воздействия на синаптическую связь, соединяющую два искусственных нейрона. Она изменяется, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение, то есть один нейрон может возбуждать другой нейрон, и после повторяющейся активации клетки «нейроны, которые срабатывают вместе, соединяются» и таким образом происходит обучение. При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба. В его книге оно определено так: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Правило Хебба не обладает прямым действием, из него не следует, как именно строить процесс обучения, оно допускает множество трактовок, как со стороны нейрофизиологов, так и математиков. За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.