Страница 5 из 18
Как закалялась сталь
В 2012 году я заметил, что в академических и прикладных областях науки произошли заметные прорывы в глубоком обучении. Например, использование метода глубокого обучения сделало возможным усовершенствование методов распознавания изображений. Я сразу понял, что мы стоим на пороге новой эры глобального поиска. Если до этого мы использовали только лишь текстовый поиск, то теперь возможными стали голосовой запрос и запрос по изображению. Например, если необходимо узнать, что за растение я вижу перед собой, то я фотографирую его и загружаю в поисковик. В течение нескольких секунд получаю его название – Flu Tong. С помощью текста сделать это было практически невозможно. Но усовершенствовался не только процесс поиска. Теперь стали возможны многие вещи, казавшиеся раньше нереальными. Распознавание речи, изображений, способность воссоздавать портрет пользователя – одни из базовых способностей человека. Как только компьютеры научатся делать то же самое, начнется новая технологическая революция. Стенографистов и переводчиков заменят машины и будут выполнять их работу лучше. В прошлое уйдут шоферы – автомобиль сможет ездить сам в разы безопаснее. В бизнесе появится умный помощник по работе с клиентами, который сможет удовлетворить все потребности и ответить на все вопросы. Искусственный интеллект даст людям новые возможности. Промышленная революция освободила людей от физической нагрузки. Теперь машины перемещают тяжести вместо нас и делают это в больших масштабах, чем было под силу человеку. Интеллектуальная революция будет решать другие вопросы. Следующие 20-50 лет мы будем свидетелями изменений и неожиданных сюрпризов. И это естественно.
Но интеллектуальная революция была бы невозможна без преданных своему делу первопроходцев. Стоит отдать им дань уважения.
После длительного периода застоя немногие ученые сохранили веру в идею искусственного интеллекта. Сейчас у Baidu есть большая и сильная исследовательская команда. Многие из ученых с 1990-х занимаются исследованиями в области машинного обучения или работают в крупных технологических компаниях. Сегодняшние достижения в области исследований ИИ – результат альтернативных подходов к работе над этой темой.
В 1990-х гг. немногие ученые, такие как Джеффри Хинтон и Майкл Джордан, настаивали на изучении машинного обучения. Ву Энда, бывший главный ученый Baidu, учился у Джордана в 90-е, а после преподавал теорию машинного обучения и даже организовал собственные онлайн-курсы. В настоящее время деканом научно-исследовательского института Baidu является Линь Юаньцин. Сю Вэй, один из выдающихся ученых корпорации, стал первым, кто предложил использовать нейронные сети для языковых моделей. Специалист по искусственному интеллекту, член американской инженерной академии, Владимир Вапник изобрел систему SVM (Support Vector Machine). Ян Лекун – лидер в области глубоких исследований, руководитель лаборатории искусственного интеллекта Facebook, изобрел специальную архитектуру сверточных нейронных сетей. А бывший директор лаборатории глубинного обучения Леон Батту является разработчиком ядра алгоритма глубинного градиента.
Исследования искусственного интеллекта прошли через несколько фаз. Первоначальные исследования ИИ основывались на правилах. Люди суммировали правила, введенные в компьютер, а сам компьютер этого сделать не мог. Следующий, более продвинутый подход основан на технологии машинного обучения. Он позволяет найти наиболее подходящие модели из больших объемов данных.
За два года развития искусственный интеллект смог поразить мир технологий. Он стал сублимированной версией технологии машинного обучения, основанной на многослойном нейросетевом компьютерном чипе. Благодаря многослойным микросхемам, которые имитируют соединение нейронов в человеческом мозге, в сочетании с усовершенствованным алгоритмом поощрения и наказания и возможностью переработки большого объема данных компьютер научился находить закономерности и вычленять модели из огромного количества информации. Это открыло новую эру в развитии интеллекта машин.
Немногие продолжали настаивать на разработке теории искусственного интеллекта, чтобы спасти уже проделанную работу. В Китае Baidu была одной из первых компаний по разработке ИИ. И, кажется, мы сделали то, о чем другие не могли даже мечтать. Шесть или семь лет назад я и Лу Цзи обсуждали прогресс, достигнутый в глубоком обучении. Мы сошлись во мнении, что готовы войти в эту сферу. В конце концов, в 2013 году я официально объявил о создании IDL (институт глубокого обучения). Он должен был стать первым институтом глубокого обучения в бизнес-сообществе. Я стал деканом не потому, что знаю больше, чем кто-либо другой. Для меня это своеобразный способ подчеркнуть степень своего внимания к предмету. А еще возможность отблагодарить тех ученых, которые не отступили в тяжелые годы.
Baidu никогда раньше не создавал научно-исследовательские институты. Наши инженеры были исследователями, а их работа всегда была тесно переплетена с практическим применением. Но я считаю, что глубокое обучение в будущем окажет огромное влияние на многие отрасли науки и жизни и шагнет далеко за пределы компетенции нашей компании. Поэтому необходимо создать специальное пространство для привлечения талантов, где бы они смогли свободно экспериментировать с инновациями, проводить исследования в неизвестных раньше областях и прокладывать путь искусственному интеллекту в жизнь человека.
На смену интеллекту
Если назвать этап просветления искусственного интеллекта версией 1.0, то машинный перевод будет следующим – 2.0. Раньше методы машинного перевода основывались на наборе слов и правил. Люди постоянно суммировали грамматические правила, но это не помогло усовершенствовать перевод. С человеческим языком машины не справляются. Особенно, когда речь идет о переводе в контексте. Например, фраза «how old are you».
Позднее появился SMT (статистический машинный перевод). Его основная идея заключается в том, чтобы посредством статистического анализа выявить общие правила использования слова или словосочетания и попытаться избежать появления нелогичных фраз. SMT имеет основные функции машинного обучения – обучение и декодирование. Этап обучения позволяет компьютеру построить модель перевода с помощью статистических данных, а затем использовать ее для перевода. Этап декодирования использует расчетные параметры, чтобы получить наиболее подходящий результат от перевода.
Исследование SMT продолжается уже более 20 лет. Для фраз и коротких предложений уже достигнут значительный прогресс. Но перевод длинных предложений, особенно со сложных языков, вроде китайского или английского, все еще оставляет желать лучшего. До недавнего времени никто не задумывался о подходе NMT (переводе, основанном на нейронных сетях). В его основе – нейронная сеть с бесчисленным количеством узлов. Исходное предложение векторизуется и передается через средний слой сети компьютеру в виде выражения, понятного для него. Затем проходит сквозь многослойную операцию и переводится на другой язык.
При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.
SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий уровень читаемости текста.