О чем говорят цифры. Как понимать и использовать данные - Ким Хо

Томас Дэвенпорт, Ким Хо

О чем говорят цифры. Как понимать и использовать данные

Thomas H. Davenport and Jinho Kim

Keeping Up

With The Quants

YOUR GUIDE TO UNDERSTANDING AND USING ANALYTICS

© 2013 Harvard Business School Publishing Corporation

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2014

Все права защищены. Никакая часть электронной версии этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами, включая размещение в сети Интернет и в корпоративных сетях, для частного и публичного использования без письменного разрешения владельца авторских прав.

Глава 1

Почему аналитические способности нужны каждому

Мы живем в мире информации, объем которой нарастает с поразительной скоростью – все больше и больше данных сваливается на наши головы, причем большую их часть собирают, чтобы улучшить качество принимаемых решений в бизнесе, государственном управлении или общественной деятельности. Если нам не удается это сделать методами количественного анализа, тогда данные пропадают впустую, а уровень эффективности нашей деятельности далек от желаемого. Цель этой книги в том, чтобы показать читателю, как работает количественный анализ (даже если у читателя нет математической подготовки) и как использовать его для улучшения принимаемых решений.

Актуальность данных и аналитических исследований

Рост объема информации характерен почти для каждой сферы общественной деятельности. Если вы занимаетесь спортом, то наверняка знаете о бейсбольной статистике Moneyball[1] и революции в профессиональном бейсболе, которую позволил совершить анализ данных об эффективности действий отдельных игроков. Сейчас такая статистика внедрена практически во всех популярных видах спорта. Если вы увлекаетесь сетевыми компьютерными играми, то наверняка знаете, что разнообразные сведения о вашем игровом поведении накапливают и анализируют компании Zynga и Electronic Arts. Любите кино? Возможно, слышали о методике, применяемой компанией Netflix для прогнозирования предпочтений в области кино. Может быть, вы не знаете, что некоторые голливудские киностудии (например, Relativity Media) используют похожие методики, принимая решение о том, какие кинопроекты финансировать.

Важно, что существуют различные типы данных. Некоторые используют для бухгалтерского учета. Например, ваша компания наверняка сохраняет информацию о том, с какого числа вы зачислены в штат или сколько дней ежегодного отпуска использовали. Но по мере накопления все большего объема данных того или иного типа у компаний возникает понятное желание найти им полезное применение, в частности использовать для принятия решений. Обычно активно пользуются базой данных о персонале. На основе этих данных руководство может задать вопрос: какое количество сотрудников, возможно, уволится в следующем году? Есть ли взаимосвязь между полным использованием отпуска за текущий год и результатами работы сотрудника за тот же период?

Но сбор данных и аналитика не просто способствуют принятию оптимальных управленческих решений. Многие интернет-компании – Google, Facebook, Amazon, eBay и прочие – используют так называемые большие данные о текущих онлайновых операциях не только когда нужно обосновать принимаемое решение, но и при разработке новых продуктов и их свойств. Стремитесь ли вы создать дополнительную ценность для потребителей или оптимизировать принимаемые решения – все это задачи для аналитиков. Они обобщают данные, ищут в них внутреннюю логику и на ее основе разрабатывают модели. Найти в данных логику и эффективно их использовать можно лишь с помощью методов математического или статистического анализа, обобщенно называемых аналитикой.

Аналитикой мы называем всестороннее использование баз данных, статистический и количественный анализ, объяснительные и прогнозные модели, а также доказательный менеджмент, применяемые для поддержки решений и увеличения ценности для потребителей.

В зависимости от цели и методов аналитику можно разделить на описательную (дескриптивную), предсказательную (предикативную) и нормативную (прескриптивную). Описательная аналитика включает сбор, систематизацию, представление данных в табличной форме, а затем выделение их основных характеристик. Этот вид аналитики всегда ориентировался на информирование о характеристиках данных. Он может оказаться весьма полезным, но ничего не говорит о причинах сложившейся ситуации или о том, что произойдет в будущем.

Предсказательная аналитика выходит за рамки простого описания данных и зависимостей между переменными (в виде показателей, которые могут иметь целый ряд значений) и прогнозирует динамику показателей в будущем на основе данных за прошлые периоды. Сначала определяются связи между переменными, а затем на основе их анализа оценивается вероятность того или иного события: например, насколько вероятно, что потребитель отреагирует на рекламу и купит данный продукт. Хотя связи между переменными используются для прогнозирования будущего, явная причинно-следственная связь обнаруживается далеко не всегда. По сути, она совсем не обязательна для получения точного прогноза.

Нормативная аналитика ориентируется на более широкий круг задач и включает такие методы, как проведение экспериментов и оптимизация. Подобно тому как доктор выписывает рецепт, нормативная аналитика предлагает направление действий. Эксперимент призван ответить на вопросы о причине тех или иных явлений. Чтобы с уверенностью делать выводы о причинных связях, исследователи изменяют одну или несколько независимых переменных и наблюдают реакцию зависимой переменной, одновременно контролируя внешние по отношению к исследуемой системе факторы. Если тестовая группа, подчиняющаяся условию эксперимента, показывает существенно лучшие результаты по сравнению с контрольной группой, то ответственный менеджер может принять решение о широком внедрении этого условия.

Еще один вид нормативной аналитики – оптимизация. Она направлена на выявление оптимального значения конкретной переменной во взаимосвязи с другой переменной. Например, нам необходимо рассчитать цену продукта, обеспечивающую максимальную рентабельность его продаж. В розничной торговле оптимизационный подход таким же образом позволяет выявить уровень запасов, гарантирующий отсутствие сбоев из-за временного отсутствия какого-либо товара.

В зависимости от применяемых методов и видов данных, подлежащих сбору и анализу, аналитику можно разделить на количественную и качественную. Цель качественной аналитики состоит в углубленном понимании причин и мотивов тех или иных явлений. Обычно для этого собирают ограниченное количество неструктурированных данных на основе нерепрезентативной выборки[2], а анализ проводят нестатистическими методами. Качественная аналитика полезна при проведении поисковых исследований, то есть на первом этапе исследований аналитических. Количественная аналитика представляет собой систематическое изучение событий при помощи статистических, математических и вычислительных процедур. На основе сбора информации о большом количестве репрезентативных событий с последующей статистической обработкой обычно получают структурированные данные.

В зависимости от целей исследователи применяют различные аналитические методы:

статистика – сбор, систематизация, анализ, интерпретация и оглашение данных;

прогнозирование – оценка динамики той или иной переменной в определенный момент в будущем на основе данных о ее динамике в прошлом;

интеллектуальный анализ данных (Data mining) – автоматизированное или полуавтоматизированное выявление ранее неизвестных зависимостей в больших массивах данных с помощью специальных вычислительных алгоритмов или статистических методов;

интеллектуальный анализ текстов – выявление неизвестных зависимостей или тенденций в тексте методами, подобными интеллектуальному анализу данных;

оптимизация – использование математических методов для того, чтобы найти оптимальные решения на основе заданных критериев и установленных ограничений.

эксперимент – формирование тестовой и контрольной групп методом случайного отбора и выявление причин и степени влияния независимых переменных на зависимую переменную.

В этом списке приведены широко известные аналитические методы, причем многие из них используют одни и те же аналитические приемы и процедуры. Например, регрессионный анализ – наиболее распространенный аналитический прием в предсказательной аналитике – не менее популярен и в статистике, прогнозировании и интеллектуальном анализе данных. Точно так же анализ временных рядов, специальная аналитическая процедура из арсенала статистики, предназначенная для анализа меняющихся во времени значений переменных, используется не только в статистике, но и в прогнозировании.