Гигиена аналитического отчёта – Часть 1. Логика отчета

  1. Прочтите отчёт глазами своей любимой бабушки, поймите, где написано непонятно. Каждый лист отчёта должен быть понятным по отдельности, без ознакомления с проектом в целом. Самоговорящие листы.
  2. Заголовки слайдов должны иметь единую направленность: либо указываются темы, либо выводы. Смешение стилей затрудняет чтение и может испортить впечатление даже о хорошем материале.
  3. Обязательно соберите на один слайд ключевые выводы, которые содержат суть и могут просто в виде текста, без таблиц и диаграмм передать ценность проделанной работы. Есть масса случаев, когда это пригодится: отправить топ-менеджеру, вставить в бриф, отдать переводчику, выпустить пресс-релиз и т.д.
  4. Отчет не терпит приблизительности. Нельзя называть 51% ни половиной, ни большинством. Ровно как 24% не являются ни четвертью, ни меньшинством. 1% для многих процессов может стоить миллионы, так что и вы покажите, что цените его.
  5. Частая ошибка: рассчитывать долю какого либо параметра от всех записей, включая пропущенные значения (missing values). В опросах это проявляется как доля от всех, включая отказавшихся отвечать или затруднившихся. Лучше считать доли от заполненных данных. Например от тех, кто дал содержательный ответ на вопрос анкеты. Незаполненные данные это отсутствие информации, а не часть описания какого-то явления.
  6. Всегда соблюдайте корректность при указании процентов и процентных пунктов. Второе используется для сравнения процентов. Если было 5%, а стало 10%, то это рост на 100%, либо на 5 п.п. (процентных пункта) и никак иначе.
  7. Коррелированность не означает казуальность. Поэтому видя корреляции и какие-то связанные параметры всегда думайте может ли воздействие на один из них изменить другой, прежде чем писать выводы. Для взрослых людей рост и вес коррелированы, но нельзя увеличить рост, если начнёшь больше есть.
  8. В выборочных исследованиях ошибка не зависит от объема генеральной совокупности, а только от величины самой выборки. Нельзя утверждать, что для излучения клиентов маленького города такой-то выборки хватит, а вот для изучения большого уже нет. Указывайте величину ошибки там, где возможно. На малых подвыборках до 400 единиц считайте значимость отличий с надежностью 90%. Традиционно используемый порог в 95% в таких случаях оставляет вне поля зрения важные выводы, которые скорее всего верны.
  9. Не бывает "черных" и "белых" брендов, продуктов и процессов. Нет ярко-выраженных профилей и однозначных оценок, реальность сильно перемешана. Не стоит ожидать, что клиенты одного бренда или продукта будут сильно отличаться от другого на уровне статистики или что плохо работающий процесс будет оценен негативно, а отлаженный позитивно. Там, где возникает человек, сразу возникает неоднозначность. Искусство как раз в определении достаточного порога непохожести для того, чтобы назвать черное черным, а белое белым. Часто это не "аналитическое", а управленческое решение.
  10. Излечитесь от мифологии сегментаций. Сегментации бывают нереально красивыми и пасть жертвой порочной связи может любой. Особенно когда в дело идет кластерный анализ да еще на переменных разного типа и разной размерности. Описание сегментов скорее напоминают ярких литературных героев, чем реальных потребителей. На деле такие шедевры невозможно применять ни в продажах, ни в обслуживании, ни даже в коммуникациях. Только черный аналитический ящик знает как определить сегмент, и чем чернее ящик, тем ярче нимб над головой аналитика на нем восседающего. Бизнес-сегментация скорее будет полезна, если построена не с помощью многомерной статистики, а путем однозначной комбинации легко измеримых параметров. Так или иначе, можно использовать сегментацию как для разделения множества на классы, так и для описания классов, полученных более тривиальным путем. Второй способ - более практичный, особенно для психологических и поведенческих сегментаций, которые в чистом виде, не привязанные к понятным классам/"разрезам" (см. следующий пункт), применять в бизнесе невозможно.
  11. Есть 8 базовых разрезов в статистике по клиентам, которые используются для разработки решений. 1. По продуктовым корзинам. 2. По регионам. 3. По сроку жизни в базе 4. По поколению клиентов 5. По каналу привлечения/продажи 6. По сумме чека/прибыльности клиента 7. По активности использования продукта 8. По демографии // Разрезы можно комбинировать, как правило, именно так находится инсайт
  12. В таблицах однородных данных, где суммирование ячеек имеет физический смысл, надо всегда делать "итого"
  13. Обнаруживаете в отчёте фразы, сигнализирующие, о слабой проработанности темы и высверливайте этот кариес, как хороший стоматолог, пока не появится твердая порода. Примеры: с одной стороны.../с другой стороны..., в отдельных случаях..., достаточно часто, предположительно, могут/может и т.д.
  14. Избегайте излишней литературизации аналитического отчета. Демонстрация эрудиции и эпистолярных качеств автора может стать паразитной составляющей, отвлекающий от сути и раздражающей целевого читателя. Сто раз подумайте, есть ли повод для лирики и метафор.
  15. Избегайте индикаторов неуверенности «как правило», «скорее всего», «предположительно», «несколько превышает». Эти слова – для брифа, но не для отчета. Хороший отчет отвечает на вопросы, а не порождает новые
  16. Избегайте мозаичных выводов. Анти-пример: «Известность бренда выше у женщин 30-39 лет, у людей с высшим образованием, а также в Самаре». «В огороде бузина, а в Киеве – дядька» - говорят в народе
  17. Отжимайте воду. Типичные паразиты: «достаточно интересно», «в настоящее время наблюдается тенденция», «на данный момент», «в целом» (когда за этим не следует декомпозиция на части) и т.д.
  18. Не объясняйте те методы анализа, которые описаны в Википедии и являются достоянием мировой общественности, вы - не Википедия
  19. Отчет - это самое красивое, что у вас есть! В.Ерофеев в романе "Москва-Петушки" описал аналитику пьяной икоты и динамику запоев. Прочтите. Если самые мерзотные вещи можно описать так красиво и логически безупречно, то почему бы вам не написать поэму вашего отчёта. Вдохновляйтесь!
  20. Если этот список показался вам надуманным и скучным - никогда не пишите аналитические отчёты, есть много других прекрасных профессий