एड ए/बी टेस्ट कितने समय तक चलाएं: सैंपल साइज़ गणित को व्यावहारिक बनाएं
ए/बी टेस्ट अवधि कल्पना नहीं, अंकगणित है: आवश्यक सैंपल को अपेक्षित दैनिक ऑब्ज़र्वेशन्स से भाग दें। सैंपल-साइज़ गणित का व्यावहारिक रूप, साथ ही कन्वर्ज़न डिले, स्टॉप रूल्स, और यह क्यों कि हर टेस्ट पर कोई एक कैलेंडर फ्लोर या सीलिंग फिट नहीं बैठती।

अवधि की योजना एक्सपेरिमेंटल यूनिट, बेसलाइन रेट, पकड़ने लायक इफेक्ट, एरर टॉलरेंस, एलोकेशन और प्रतिदिन अपेक्षित ऑब्ज़र्वेशन्स के आधार पर बनाएं। साथ ही कन्वर्ज़न डिले और प्रासंगिक चक्रों को भी ध्यान में रखें। ऐसी कोई सार्वभौमिक कन्वर्ज़न-काउंट या कैलेंडर सीमा नहीं है जो हर एड टेस्ट को निर्णायक बना दे।
अवधि एक आउटपुट है, कैलेंडर की पसंद नहीं#
प्रति वेरिएंट अपेक्षित ऑब्ज़र्वेशन्स यह तय करते हैं कि नियोजित सैंपल तक पहुँचने में कितना समय लगेगा। केवल कन्वर्ज़न काउंट से आवश्यक सैंपल तय नहीं होता: बेसलाइन रेट, इफेक्ट साइज़, डिज़ाइन और अनिश्चितता की मान्यताएँ स्पष्ट करें।
- आप जिस मेट्रिक का टेस्ट कर रहे हैं उसकी बेसलाइन रेट — क्रिएटिव्स के लिए CTR, लैंडर्स और ऑफर्स के लिए कन्वर्ज़न रेट।
- पकड़ने लायक सबसे छोटा अंतर। 10% लिफ्ट पकड़ने की लागत 50% लिफ्ट पकड़ने से कहीं अधिक ट्रैफिक की होती है, और अधिकांश छोटी लिफ्ट्स उस खर्च के लायक नहीं होतीं जो उन्हें देखने में लगता है।
- प्रति वेरिएंट दैनिक वॉल्यूम — आपके बजट और बिड्स द्वारा तय।
चुने गए डिज़ाइन के तहत आवश्यक ऑब्ज़र्वेशन्स का अनुमान लगाएं और उसे प्रति वेरिएंट प्रतिदिन अपेक्षित ऑब्ज़र्वेशन्स से भाग दें। देखें कि नतीजा देने वाली विंडो प्रासंगिक बनी रहती है या नहीं; चार सप्ताह की अवधि अपने आप अवैधता की सीमा नहीं है।
सैंपल-साइज़ गणित, सांख्यिकी की डिग्री माइनस#
दो इंडिपेंडेंट प्रोपोर्शन्स के लिए एक मोटा प्लानिंग अनुमान बराबर एलोकेशन, तय होराइज़न, दो-तरफ़ा 5% सिग्निफिकेंस लेवल और 80% पावर मानता है:
प्रति वेरिएंट n ≈ 16 × p × (1 − p) ÷ d²
यहाँ p मानी गई बेसलाइन इवेंट रेट है और d एक एब्सोल्यूट रेट डिफरेंस। नतीजा प्रति वेरिएंट ऑब्ज़र्वेशन्स गिनता है, जैसे इम्प्रेशन्स या एलिजिबल विज़िट्स, न कि कन्वर्ज़न। इस अनुमान को दुर्लभ आउटकम्स, असमान एलोकेशन, बार-बार आने वाले यूज़र्स, क्लस्टरिंग और डिज़ाइन से अन्य विचलनों के लिए जाँचने की जरूरत है।
काल्पनिक गणनाएँ: p=0.005 और d=0.001 से प्रति वेरिएंट लगभग 79,600 इम्प्रेशन्स मिलते हैं। p=0.02 और d=0.005 से प्रति वेरिएंट लगभग 12,544 एलिजिबल विज़िट्स मिलती हैं। यदि ऐसी प्रत्येक विज़िट की लागत US$0.40 हो, तो अन्य खर्चों से पहले दो आर्म्स पर मीडिया का लगभग US$10,035 खर्च आता है। ये प्लानिंग परिदृश्य हैं, उद्योग बेंचमार्क या सिग्निफिकेंस के वादे नहीं।
| आप क्या टेस्ट कर रहे हैं | बेसलाइन | पकड़ने के लिए लिफ्ट | प्रति वेरिएंट सैंपल |
|---|---|---|---|
| CTR (क्रिएटिव) | 0.5% | 20% रिलेटिव | ~80,000 इम्प्रेशन्स |
| CTR (क्रिएटिव) | 0.5% | 50% रिलेटिव | ~13,000 इम्प्रेशन्स |
| CVR (लैंडर) | 2% | 25% रिलेटिव | ~12,500 क्लिक्स |
| CVR (लैंडर) | 2% | 50% रिलेटिव | ~3,100 क्लिक्स |
| CVR (ऑफर पेज) | 5% | 25% रिलेटिव | ~4,900 क्लिक्स |
इस अनुमान के तहत, d को आधा करने से नियोजित सैंपल चौगुना हो जाता है। CTR और कन्वर्ज़न अलग-अलग सवालों के जवाब देते हैं: CTR में सुधार का मतलब यह नहीं कि कंट्रिब्यूशन या एक्विज़िशन कॉस्ट भी सुधरेगा। फैसले के इर्द-गिर्द मेट्रिक्स और गार्डरेल्स चुनें, बजाय यह मान लेने के कि इम्प्रेशन-लेवल टेस्टिंग हमेशा सस्ती या पर्याप्त होती है।
प्रासंगिक चक्रों और कन्वर्ज़न डिले को ध्यान में रखें#
ऐसी विंडो चुनें जो प्रासंगिक ट्रैफिक का प्रतिनिधित्व करती हो और विलंबित आउटकम्स को परिपक्व होने देती हो। साप्ताहिक पैटर्न मायने रख सकते हैं, लेकिन सात दिन न कोई सार्वभौमिक न्यूनतम है और न ही इस बात का प्रमाण कि डिज़ाइन प्रतिनिधिक है।
सीलिंग: लंबे टेस्ट अंदर से सड़ने लगते हैं#
लंबी विंडोज़ बदलती परिस्थितियाँ ला सकती हैं, लेकिन तीन या चार सप्ताह के बाद कोई टेस्ट अपने आप नियंत्रित नहीं रह जाता। रैंडमाइज़ेशन, समवर्ती एक्सपोज़र, ड्रिफ्ट, विलंबित आउटकम्स और व्यावहारिक प्रासंगिकता का आकलन करें; जरूरत पड़ने पर डिज़ाइन में बदलाव करें।
पीक न करें — या कम से कम पीक्स पर एक्शन न लें#
किसी फिक्स्ड-होराइज़न टेस्ट को बार-बार चेक करना और पहले ही अनुकूल सिग्निफिकेंस नतीजे पर रोक देना उसका एरर रेट बदल सकता है। डिज़ाइन और विश्लेषण पहले से तय करें, या उपयुक्त सीक्वेंशियल तरीका अपनाएं। ऑपरेशनल स्टॉप कंडीशन्स सांख्यिकीय सफलता की घोषणा से अलग चीज़ हैं।
सिग्निफिकेंस का खर्च न उठा पाने पर किल रूल्स#
अधिकांश नेटिव और एफिलिएट बायर 12,500 क्लिक्स प्रति वेरिएंट का फंड नहीं जुटा सकते, और अन्यथा दिखावा करना नकली कठोरता पैदा करता है। ईमानदार विकल्प है स्टेज्ड कलिंग — सिग्निफिकेंस टेस्टिंग से ज्यादा क्रूड, और उन बायर्स के बीच स्टैंडर्ड प्रैक्टिस जो महीने में दर्जनों क्रिएटिव्स टेस्ट करते हैं:
एक वित्तीय स्टॉप रूल एक्सपोज़र सीमित कर सकता है, लेकिन सांख्यिकीय सिग्निफिकेंस स्थापित नहीं करता। यदि कन्फर्मेटरी टेस्ट से पहले वेरिएंट्स की स्क्रीनिंग कर रहे हैं, तो सिलेक्शन और मल्टीपल कम्पैरिज़न्स का हिसाब रखें और अंतिम फैसले के लिए ताज़ा, उचित रूप से डिज़ाइन किया गया सबूत इस्तेमाल करें। 2–3× CPA का नियम या कुछ हज़ार इम्प्रेशन्स सार्वभौमिक वैलिडेशन नहीं है।
परिकल्पनाएँ बनाने के लिए प्रतिस्पर्धी ऑब्ज़र्वेशन्स का उपयोग करें#
प्रतिस्पर्धियों के कैप्चर क्रिएटिव परिकल्पनाएँ सुझा सकते हैं। 30 दिन का ऑब्ज़र्वेशन स्पैन यह स्थापित नहीं करता कि किसी प्रतिस्पर्धी ने प्रॉफिट टेस्ट पास किया, और परिचित एंगल चुनने से आपके चुने हुए सांख्यिकीय डिज़ाइन के लिए आवश्यक सैंपल कम नहीं हो जाता।
एक काम किया गया उदाहरण, शुरू से अंत तक#
मान लीजिए आप एक $60-पेआउट लीड-जेन ऑफर चलाते हैं जिसमें एक कैंपेन आपकी टेस्ट सेल्स में प्रतिदिन लगभग 1,500 क्लिक्स कर रहा है।
p=0.03 और d=0.009 वाले एक काल्पनिक समान-एलोकेशन टेस्ट में यह अनुमान प्रति आर्म लगभग 5,748 एलिजिबल विज़िट्स देता है। प्रतिदिन कुल 1,500 एलिजिबल विज़िट्स पर, डिले, चक्रों या डिज़ाइन की अन्य जरूरतों को गिने बिना दोनों आर्म्स जमा करने में लगभग 7.7 दिन लगते हैं। पहले की स्क्रीनिंग स्टेज 10–12 दिनों के बाद एक बचाव योग्य विजेता की गारंटी नहीं देती।
एक नियोजित अवधि सैंपल की जरूरतों को अपेक्षित एलिजिबल ट्रैफिक और आउटकम्स के समय के साथ जोड़ती है। यह गारंटी नहीं है कि प्रयोग सांख्यिकीय या व्यावसायिक रूप से निर्णायक विजेता देगा।







