Почему data-driven — это тупик, и что придёт ему на смену

Всем привет! Давно хотела написать статью на эту тему, но всё никак не доходили руки.

Тема, прямо скажем, непопулярная. Data-driven сегодня требуют в каждой вакансии и спрашивают на каждом собеседовании. А если вы не из этой когорты — значит, вы устарели, ничего не понимаете и просто не умеете считать. В индустрии происходит настоящий буллинг со стороны адептов data-driven: всех остальных высмеивают и снимают со счетов.

Так вот, я считаю, что data-driven — это тупик. Сейчас объясню почему — а в конце расскажу, что, на мой взгляд, придёт ему на смену.

Никто не умеет правильно собирать данные

Главная претензия к data-driven — он не даёт представления о реальном положении вещей. И ломается всё уже на первом шаге: на сборе данных.

На курсах вам радостно опишут, как оно должно быть в идеальном мире. Фактически же в компаниях очень низкий уровень аналитики. Мало кто знает, как записываются поля, при каких событиях это происходит, как таблицы взаимодействуют между собой. Команды неделями изучают, какая дата вообще уже есть и как её поженить с той, которая нужна. И, как правило, этот процесс почти бесконечный.

Никто не знает, как эти данные интерпретировать

Хорошо, допустим, данные собрали. Теперь их нужно интерпретировать — и здесь начинается самое интересное.

Есть разные модели атрибуции: first click, last click, модель Шепли и так далее. Загрузите в них одни и те же данные — и получите противоречащие друг другу результаты. В одной модели SEO рулит, в другой — уже на дне. Кому верить?

Типичная картина: в одной e-com команде отчёт по last click показывал, что SEO — герой и приносит треть заказов, а платный трафик еле окупается. Кто-то предложил пересчитать по first click — и картина перевернулась: оказалось, новых клиентов приводит как раз реклама, а SEO просто дожимает тех, кто и так уже решил купить. Полтора месяца команда спорила, какая модель «правильная». Закончилось тем, что выбрали ту, которая больше нравилась директору по маркетингу. То есть решение всё равно приняли на вере — просто потеряли на это полтора месяца.

«Каждый бизнес выбирает модель, которая ему ближе». Но что это значит? И как быть простому предпринимателю — кому верить и куда выделять бюджет?

Идеи, которые нельзя просчитать, умирают

Из-за data-driven подхода компании отказываются от большинства идей, которые могли бы принести результат, но которые сложно или невозможно просчитать заранее.

Значит ли это, что теперь не нужно запускать медийку, менять сайт, пробовать спецпроект? Ну нет возможности точно сказать, как новый маскот повлияет на продажи в долгосрочной перспективе. Невозможно это просчитать. Но значит ли это, что маскот не нужен?

Расскажу, как это обычно выглядит. Команда придумывает спецпроект с маскотом — живой, смешной, такого нет ни у кого на рынке. Все горят. Дальше финмодель: «посчитайте ROI на двенадцать месяцев». А как посчитать ROI персонажа, которого ещё не существует? Три круга согласований, ни одна цифра не сходится с требуемой точностью — идея умирает. Через год похожего персонажа запускает конкурент и собирает все охваты и всю любовь аудитории. Вот теперь цифры есть — только чужие.

А те, что можно просчитать, — протухают в расчётах

Даже идеи, которые уже можно было бы запустить и протестировать, не выходят в прод — они протухают из-за сложности расчётов.

Классический пример — медийная реклама. Её долгосрочное влияние на продажи практически невозможно посчитать напрямую, только косвенно. И из-за сложности и непрозрачности таких расчётов запуск либо откладывается, либо отменяется вовсе — в пользу простых и понятных каналов типа CPA. Да, вам нальют говна, зато вы заплатите только за действие.

А действительно классные проекты оказываются похоронены под data-driven.

Data-driven не создаёт нового

Data-driven — это не про искусство и не про прекрасное. Ничего нового с ним создать не удастся, потому что он по определению основан на том, что уже было. Данные — это всегда прошлое. Прорывные идеи в прошлых данных не живут.

Команды заняты не тем

Отдельная боль: команды постоянно тупят на задачах, которые легко просчитать, но которые к бизнесу имеют весьма опосредованное отношение. Считать удобно — значит, будем делать. А то, что двигает бизнес, но плохо считается, подождёт.

Цифрами легко манипулировать

В принципе любой отчёт можно подбить под ту гипотезу, которая нужна продакт-менеджеру. Если продакту выгодно конкретное решение, отчёт соберётся так, чтобы это решение продвинуть: удобный период, удобный сегмент, удобная метрика. А результаты, которые подсвечивают, что решение так себе, просто проигнорируют — или спишут на то, что «дата невалидна», «здесь мы не можем верить данным» и так далее.

Получается парадокс: подход, который придумали, чтобы убрать субъективность из решений, стал самым удобным инструментом этой самой субъективности.

Ответственность размывается

Здесь совсем просто. Продакт-менеджер или директор по продукту тупо прячется за отчётами: «Ой, у нас инициатива провалилась, но это не мы виноваты — это данные тогда так показывали. Ну вы же сами видели в отчётах».

Решение как будто принял не человек, а цифры. А с цифр не спросишь. В итоге в компании нет ЛПР — есть дашборд, за которым все дружно прячутся.

Авторитет специалистов обесценивается

Слова и идеи менеджера обесцениваются C-level'ом и выше: «ну а по цифрам не так», «а докажи, что по цифрам так», «а сколько конкретно это принесёт?».

Опыт, насмотренность, экспертиза — всё это перестаёт быть аргументом. Десять лет практики проигрывают одной табличке, собранной за вечер. Хотя именно опыт и насмотренность — это и есть данные, просто накопленные не в Tableau, а в голове.

Что придёт на смену: data-informed

Я считаю, что на смену придёт data-informed подход. Разница вот в чём: данные — это не готовое решение, а вектор.

Мы смотрим на данные, но решение принимаем самостоятельно. И иногда правильное решение на первый взгляд даже противоречит полученным результатам.

Классический пример — Red Bull. Фокус-группы перед запуском провалились с треском: люди говорили, что вкус ужасный, название странное, а дизайн банки — провал. «Никто не будет это покупать». Дитрих Матешиц запустился вопреки исследованиям — и создал категорию энергетиков, которой до этого просто не существовало. Фокус-группы измеряли привычное, а не потенциал: продукт новой категории всегда проигрывает в тестах продуктам существующих. Подробнее про этот кейс — в истории компании, на Хабре или в английском разборе.

Иногда нужно делать шаги веры. Данные — это штурман, который подсказывает дорогу. Но за рулём всё равно человек, и отвечает за маршрут тоже он.

Поэтому: смотрите на данные, уважайте их, стройте по ним вектор. Но решения принимайте сами — и не давайте похоронить ваши классные идеи под отчётами.