Страница 6 из 19
В чем сходство между большими данными и традиционными данными?
Любая животрепещущая тема вызывает различные, порой взаимоисключающие толкования. Существует мнение, что большие данные в корне изменят способы анализа и использования его результатов. Однако если вдуматься, это не так. Это как раз тот случай, когда шумиха выходит за рамки реальности.
Ни для кого не новость, что большой объем больших данных создает проблемы масштабируемости. Большинство новых источников данных поначалу считались большими и сложными. Большие данные – это просто очередная волна новых данных, которая раздвигает существующие пределы. Аналитики смогли приручить прошлые источники данных с учетом существовавших в то время ограничений, и большие данные тоже будут приручены. В конце концов, аналитики в течение длительного времени находились в авангарде изучения новых источников данных. Так и будет продолжаться.
Кто первым начал анализировать данные о телефонных звонках в телекоммуникационных компаниях? Аналитики. На своей первой работе я проводил анализ данных, записанных на магнитные ленты. В то время казалось, что данных было огромное количество. Кто первым начал анализировать данные с мест продаж в розничных магазинах? Аналитики. Сначала анализ данных о сотнях тысяч товаров в тысячах магазинов считался огромной проблемой. Сегодня это не так.
Профессионалы в области аналитики, которые первыми начали работать с этими источниками, имели дело с тем, что в то время считалось немыслимо большими объемами данных. Им необходимо было найти способ анализа и использования данных с учетом существующих в то время ограничений. Многие сомневались в том, что это возможно, а некоторые даже ставили под сомнение ценность таких данных. Это очень похоже на то, что происходит с большими данными сегодня, не так ли?
Большие данные не повлияют ни на задачи, которые решают профессионалы в области аналитики, ни на причины, по которым они это делают. Даже для тех, кто сейчас называет себя не аналитиками, а учеными в области науки о данных, цели и задачи остаются прежними. Конечно, решаемые проблемы будут эволюционировать вместе с большими данными – так было всегда. Однако в конце концов аналитики и ученые будут просто изучать новые и немыслимо большие наборы данных, чтобы обнаружить ценные тенденции и модели, как они всегда это делали. В этой книге под термином «профессиональный аналитик» мы подразумеваем как традиционных аналитиков, так и ученых. Более подробно мы поговорим об этих специалистах в главах 7, 8 и 9. Сейчас важно понять, что задачи, связанные с большими данными, не так новы, как может показаться.
Во многих отношениях большие данные не создают для вашей организации новых проблем. Укрощение новых источников больших данных, которые раздвигают существующие пределы масштабируемости, – постоянная тема в мире аналитики. Большие данные представляют собой просто новое поколение таких данных. Профессиональные аналитики хорошо разбираются в решении подобных задач. Если ваша организация справляется с существующими массивами информации, она справится и с большими данными.
Большие данные потребуют изменения тактик, которые используют в своей работе профессиональные аналитики. Для обеспечения более эффективной работы с большими данными к традиционным аналитическим средствам добавятся новые инструменты, методы и технологии. Для отбора ценных сведений из потоков больших данных будут разработаны сложные алгоритмы фильтрации; будут усовершенствованы процессы моделирования и прогнозирования. Более подробно это обсуждается в главах 4, 5 и 6.
Перечисленные тактические изменения коренным образом не меняют цели или сам процесс анализа. Большие данные, безусловно, будут способствовать внедрению новых и инновационных средств анализа, и это заставит аналитиков проявлять творческий подход к работе в пределах существующих ограничений в масштабируемости. Большие данные с течением времени продолжат увеличиваться в объеме. Тем не менее их использование на самом деле не сильно отличается от того, чем аналитики всегда занимались. Они готовы ответить на вызов.
Риски, связанные с большими данными
С большими данными связаны определенные риски. Так, например, организация может оказаться настолько перегруженной большими данными, что не будет способна на какой-либо прогресс. Ключевой момент здесь, как мы увидим в главе 8, – наличие нужных людей, которые не допустят этого. Вам нужны правильные люди, способные справиться с проблемами, которые возникают с появлением больших данных. Если такие специалисты есть, организации могут избежать пробуксовки в своем развитии.
Другой риск заключается в том, что расходы по сбору больших данных растут быстрее, чем возможности организации по их использованию. Избежать этой проблемы можно, лишь обеспечив соответствующий темп развития. Нет необходимости браться за все сразу и с завтрашнего дня собирать 100 % информации, поступающей из каждого нового источника данных. Необходимо собирать и изучать образцы новых данных. С их помощью можно провести экспериментальный анализ, чтобы определить, что действительно важно в каждом источнике и как каждый из них может быть использован. Основываясь на этом, организация будет готова к проведению полномасштабного эффективного анализа источника данных.
Вероятно, самый серьезный риск, связанный с источниками больших данных, – это конфиденциальность. Если бы все люди были хорошими и честными, то нам не пришлось бы беспокоиться о конфиденциальности. Однако это не так. Нехорошими и нечестными бывают не только люди, но и компании. Существуют даже нехорошие и нечестные правительства. Вот поэтому большие данные могут доставить неприятности. Проблему конфиденциальности, связанную с большими данными, необходимо решать, иначе их потенциал невозможно реализовать полностью. Без надлежащего ограничения большие данные могут поднять такую волну протеста, что некоторые их источники будут полностью закрыты.
Не так давно стало известно, как несоблюдение безопасности привело к тому, что номера кредитных карт и правительственные документы были украдены и опубликованы в интернете. Не будет преувеличением сказать, что, если данные где-то хранятся, кто-то рано или поздно попытается их украсть. Как только злоумышленники получат к ним доступ, они будут их использовать в своих целях. Из-за непродуманной или ненадлежащим образом определенной политики конфиденциальности крупные организации сталкивались с проблемами: данные были использованы таким образом, который пользователи не понимали или не одобряли, и это вызывало негативную реакцию. По мере развития сферы больших данных должны развиваться сферы самостоятельного и правового регулирования их использования.
Наличие саморегулирования критически важно. Оно говорит о том, что отрасли не все равно. Участники рынка должны обеспечить саморегулирование и разработать правила, которых может придерживаться каждый. Такие правила обычно более эффективны и менее жестки, чем те, которые вводятся государственными органами, когда отрасль не может контролировать себя самостоятельно.
Принимая во внимание природу многих источников больших данных, нетрудно понять, что конфиденциальность представляет собой серьезную проблему. При наличии подобных объемов данных всегда найдутся нечестные люди, которые попытаются использовать их без вашего согласия или таким образом, который вам вряд ли понравится. Правила обработки, хранения и применения больших данных должны развиваться наряду с аналитическими возможностями. С самого начала пересмотрите подход вашей организации к вопросам конфиденциальности. Ваша позиция должна быть совершенно ясной и прозрачной.