AB Test/Experimental Design
虽然很多人都在大学学过统计,或者但是工业界如何运用统计推断来判断产品的决策对公司最终有利?
熟练掌握AB实验,可以说是数据科学家日常工作基础技能书的一个重要分支,近年来所有的知名科技公司都已经将AB实验广泛的运用在各种各样的决策场景,从营销策略,补贴计划,到前端设计,到机器学习模型的比较。
市面虽然有一些比较简单的AB实验课程,但是并没有一套完整的概述,从基础入门到高级和复杂场景的应用。在这门课里,业界工作多年的资深科学家小K老师,高信息量的讲述了AB实验如何从概率统计出发,到工业应用场景落地,做实验的Pvalue仅仅是很小的一步,小K老师参与过多家大公司的实验平台构架设计和搭建,带你从系统平台,到可靠的数据收集,到大规模而且可信度分析,到社交网络和多方市场的复杂场景,方方面面都需要结合业务场景和技术限制来考虑。
学完这门课不仅能让你轻松应对多种行业实际会面对的实验设计和分析问题,也可以开阔思路,展示数据科学在分析(analytics)之外,更靠近科学的一面。你会深入浅出的了解什么是Causal inference, 什么是实验 designed experiments
- 为什么需要确定决定标准OEC,
- 实验需要用到的基础概率和统计
- 经典实验,计算正确的数据,得到正确的结论,讲一个动听的故事
- 中级实验,multiple testing; tiered metrics; what the CLT & handling violated assumptions
- 高级实验,sequential test; multi-armed bandit; network and marketplace; variance reduction
- 选修:工业级别AB实验平台,如何做超大数据量,并且结果可信的实验
所需基础:Probability, Solid Statistics background,最好上过inference课程
课程难度:Intermediate to Advanced
课程内容:
0. Causal inference, designed experiments, OEC, basic prob & stats
1. Classic AB: conversion / revenue, doing the right math, telling the right story
2. Intermediate AB: multiple testing; tiered metrics; what the CLT & handling violated assumptions
3. Advanced AB: sequential test; multi-armed bandit; network and marketplace; variance reduction
4. Industry scale AB testing platforms: trustworthy experiments at scale [optional]
实战例子:
课程当中会给出大量工业界一线公司的工作实例。
授课老师介绍:
小K@一亩三分地
Top常春藤大学博士,十几年工业界经历。工作之余,教过研究生课程。
拿过几乎所有一线IT公司和多家热门startup/pre-ipo资深技术岗位(比如Staff Data Scientist)或管理岗位offer。参与过多家大公司的实验平台构架设计和搭建。
小K也是一亩三分地管理员。她常年在地里分享数科学习经验,也指导过很多人的求职,相信泡在地里的同学对“小K”很熟悉。
比如,从2013年一直更新的《Data Scientist 炼成记录》
http://www.1point3acres.com/bbs/thread-76429-1-1.html在地里得到的是这样的好评:
被1228人收藏
来,让小K带你学习如何做AB Test。
免费试听:
相关课程:
《Data Science 501 – Analytics 数据科学面试40+真题讲解 | 科技公司如何以数据分析来驱动产品开发》
DS601 Lesson 1
- DS601_101_Overview
- DS601_102_Why businesses want to experiment
- DS601_103_Why you need to learn EXP
- DS601_104_More than just interviews
- DS601_105_EXP Landscape
- DS601_106_Product Development Cycle
- DS601_107_Measuring Impact 1
- DS601_108_Measuring Impact 2
- DS601_109_Step1_What does data look like
- DS601_110_Step1 How to randomize
- DS601_111_Step1 Example
- DS601_112_Step1 What could go wrong
- DS601_113_Step2 What to measure
- DS601_114_Step2 How to measure
- DS601_115_Step3 Compare
- DS601_116_Step3 Example
- DS601_117_Step3 In Practice
- DS601_118_EXP Design and Monitor
- DS601_119_Interpret and Recommend Action
DS601 Lession 2
- DS601_201_A random question
- DS601_202_We have tested, now what
- DS601_203_Life Cycle of Product Development
- DS601_204_When not to AB Test
- DS601_205_Homework_last_week
- DS601_206_Overview
- DS601_207_Central Limit Theorem
- DS601_208_What Assumption & How to Check
- DS601_209_Bootstrap & Delta method
- DS601_210_Live Example
- DS601_211_One-sided & other test
- DS601_212_High Skew Remedies
- DS601_213_Small Samples
- DS601_214_Data Quality Check
- DS601_215_Philosophy of EXP
DS601 Lesson 3
- DS601_301_Q & A
- DS601_302_False Positives & False Negatives
- DS601_303_P Value in Plain English
- DS601_304_Power in Plain English
- DS601_305_More_on_Power
- DS601_306_False Positive & Multiple Testing
- DS601_307_Peeking & Sequential Test
- DS601_308_Omnibus Test
- DS601_309_Getting Results Faster
- DS601_310_Variance Reduction
- DS601_312_CUPED & Crossover
- DS601_314_Marketplace & Network (Adv EXP)
- DS601_315_Whats Special about Airbnb
- DS601_313_Fast Surrogates
- DS601_311_Pre-experiment Imbalance
DS601 Lesson 4
- DS601_401_Q & A
- DS601_402_Confidence Interval
- DS601_403_More on CUPED vs Normal AB
- DS601_404_Causes of Sample Ratio Mismatch
- DS601_405_AA Test
- DS601_406_Marketplace/Network EXP
- DS601_407_CTR Variance
- DS601_408_Q & A
- DS601_409_Bayesian vs Frequentist
- DS601_410_Multi Armed Bandit
- DS601_411_MAB vs AB - Practical Considerations
- DS601_413_The EXP Frontier
- DS601_415_In Interview
- DS601_414_Summary
- DS601_412_MAB vs Contextual Bandit