📊

Cyprus Data Chat
@cyprusdata  

Vitaly
@mivitalii

Тип распределения, наверное, не так вашен сначала. Но понимание, что у конверсии на выборке N юзеров есть доверительные интервалы, и что между 1.5% и 1.65% может не оказаться значимой разницы - очень важно, ИМХО.

💬 ответы (1)

2023-04-04 06:32:06

Evgeny K
@joegone

Я допускаю что ничего не знаю о мире слишком больших или наоборот дефицитных данных, или о мире абтестов непрерывных метрик типа арпу в игрушках или маркетплейсах. Когда все эти умные слова действительно помогают в делах?

💬 ответы (2)

2023-04-04 06:11:21

Evgeny K
@joegone

Ок, тогда давайте продолжим. Действительно было очень интересно присутствовать при битве грандов матстата. А можно теперь пример из жизни когда для аб-теста конверсии действительно важно т-тест или z-test? Или по другому: в каких случаях действительно важно так глубоко копать в тип теста и распределения? Я продакт в мобилке и пару лет абтестил конверсии вообще без этого вот всего. Возможно где-то это было не вполне корректно, но задача была искать реальные сдвиги, а не микроулучшения. Поэтому слова типа бутстрэп даже не звучали.

2023-04-04 06:16:25

Fedor Turchenko
@Fedor_Turchenko

Я наоборот только за, чтобы были такие дискуссии) Сразу полетели полезные ссылки, да и в целом было интересно почитать разные мнения. Просто до сегодняшнего дня в чате, кроме анонсов митапов и постов с вакансиями, ничего особо и не было 😅

2023-04-03 20:05:59

Vitaly
@mivitalii

Ребят, хотел бы извиниться за то, что развел такую дискуссию, тем более что начал с критики чужого резюме. Хотел как лучше, считал этот чат скорее тусовкой, где можно неформально дать совет, если видишь некую очевидную ( субъективно) проблему.. А получилось как-то не совсем то( Постараюсь в следующий раз такое строго в личку)

💬 ответы (1)

2023-04-03 20:06:13

Anastasia
@403840178

Кажется, назрела тема для следующего дата митапа)

2023-04-03 18:46:17

Phantom Lancer 👾
@phantom_lancer_gang

Текст и все комментарии думаю стоит переписать да, но код только рефакторить)

2023-04-03 14:07:07

Phantom Lancer 👾
@phantom_lancer_gang

Под "неравномерные" имел ввиду это И что не так с хи квадратом для проверки на независимость, если переменная качественная, а не количественная никто так и не сказал
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument

2023-04-03 14:06:03

Khv Evg
@447266621

Похоже, нужен отдельный чат для этого дела. Не всем интересны уведомления об этой дискуссии

💬 ответы (2)

2023-04-03 13:59:26

Dmitry V
@DVars

Небольшой комментарий вставлю, самое нормальное это пробовать различные тесты на ваших данных (смотреть ошикби 1го , 2го рода и так далее) и на основе этого уже принимать решения о том какой тест использовать. Благо сегодня это всё можно провернуть на своём лаптопе. Не знаю может и не в тему уже

💬 ответы (2)

2023-04-03 13:59:54

Vitaly
@mivitalii

Но да, ох уж эта коварная центральная предельная теорема! У ребят в статье VK не указано, какое N использовали для расчета выборочного среднего. Это все его вина!)))

2023-04-03 13:43:23

Andrey Smirnov
@smirnov_captain


💬 ответы (3)

2023-04-03 13:41:08

Vitaly
@mivitalii

А я посоветую книжку "Quantifying user experience". Очень полезная, чтобы разобраться, не переходя в совсем уж дикий матан. Но увы, та же оговорочка про требование нормальности там есть, пропустили авторы :(

💬 ответы (2)

2023-04-03 13:31:33

Sergei Tovmasian
@stovm

Думаю, наша беседа была полезной кому-нибудь)

2023-04-03 13:29:49

Vitaly
@mivitalii

Т.е. для метрики "доля кликнувших юзеров" - норм. Для метрики "число кликов/число просмотров" - уже нет.

2023-04-03 13:33:40

Vitaly
@mivitalii

Клики одного пользователя - не независимые события. Это как раз нарушает требования t-теста.

2023-04-03 13:26:49

Vitaly
@mivitalii

Но вот как раз про CTR там хорошо прописан момент, редко уопминающийся в учебниках, да.

2023-04-03 13:25:48

Sergei Tovmasian
@stovm

Короче, статья маст рид. Те, кто смогут локально повторить изыскания в статье, скорее всего научатся всему, что нужно. Как минимум синтетическое моделирование поможет сравнивать мощности критериев на ваших метриках, а как максимум, в голову встанет вся необходимая логика. А критериев само собой масса других - но это уже будет скорее нанизыванием нового на здоровую базу. Так что, дерзайте, кому прямо хочется прокачаться

2023-04-03 13:23:40

Vitaly
@mivitalii

При этом проблема "длинного хвоста" распределения - бьет и по бустрепу, и по t-тесту. Возможно, бутстреп чуть выиграет, но проблему он не решит.

2023-04-03 13:14:02

Sergei Tovmasian
@stovm

А так, кому интересна тема A/B очень рекомендую статейку. Начинать стоит с неё и дальше раскручивать себя по направлениям.

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

💬 ответы (2)

2023-04-03 13:20:02

следующая страница