????????�??�

??

???????

A/B????????????App/???/????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????�???�????

???????????????????

1.?????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????

?????????????????????????A/B???????????????????????????????????????????????????????????????????????????????????????????????????????

2.??????????????????????

??????????????????????????????????????????????A/B?????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

3. ??????????????????????????????????????????????????????????????�????????9???�????????????10%?????????�??????�??????????????????

?????????????????????????????????????????

?????????????????????????????????????????????????????

4.A/B??????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????

????????A/B????????????????????????????????????????????????????

??????AppAdhoc A/B Testing???????A/B????????????????A/B????????????????????????????????????????A/B??????????????????????????

2 A/B?????????

??????????????A/B?????????????????????????

????????????App??????????????????????A/B???A??????5%????B?????????5%????????????????????????????????????????????????????????????????????A/B?????5%???5%???��?????A/B????????

??A/B?????????????????????????????????5%????5%??????????

?????????????????

Group ID for Client cid <= Hash(A/B Testing Client ID cid)

??????????????????????

???????????????????

Experiment Groups for X% <= FindFirstXGroups(Groups, X)

?????????????????5%???????????5????(Group)??????????????????????????5?????????????????�???�?????

?????????????????????????????App???????????????????????????�????�?

????????????�??�????????????????????????????????????????????????????????????????�???�????????????bug???????????????????bug??????????????????????????????????A/B????????????????????????A/B??????????????????????

??A/B?????????????????????????????????????????�???�??/???????????????????????????�??�???????????????????????????????????????????????

?????????????????????????????????????????????????????????????�???�???????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????�???�?

3 ????�??�??

??????????�???�????????A/B???????�??�?????????????????????????????????????????

�??�????????????A/B???????????????????????????????????30????????????????????????

???????????????????????????????????

// Runs every 30 days

Group ID for Client cid <=

Hash(A/B Testing Client ID cid + DateTime) % #Groups

????????????????????????�??�??????????????????????????????????????�??�?

??�??�????????????????????????????????????????????????????????????????????????????

???????/?????????A/B??????????????????????????????????????????????????????????

???????
????https://mp.weixin.qq.com/s/wKd2_GwLE4iwrKEyaLmofA