راهنمای کار با تست A/B

اگه از خوانندگان دارکوب بوده باشید میدونید که یکی از ابزارهای مفید و قدرتمند برای تضمین برگشت سرمایه، استفاده از تست A/B یا تست جداگانه است، به شرطی که درست ازش استفاده بشه. اما اگه با برنامه ریزی و تحلیل درستی انجام نشه ممکنه خطاهایی صورت بگیره و فرضیه های اشتباهی حاصل بشن و نتیجه رو معکوس بکنه.
بخاطر اهمیت همین مسئله، تصمیم گرفتیم برای شما خوانندگان خوب شرکت دارکوب، نحوه برنامه ریزی و تحلیل تست A/B رو آموزش بدیم، به امید موفقیت شما عزیزان. اما قبلش اجازه بدید یه توضیحی راجع به چیستی تست A/B بدم.

تست A/B چیست؟

به عبارت ساده، تست A/B عملکرد دو متغیر (متغیرهای A و B ) از یک صفحه وب رو با هم مقایسه میکنه. در این تست برای هر دو متغیر ترافیک یکسانی استفاده میشه. هدف اینه که ببینیم کدوم یکی از این دو متغیر بهتر میتونه کاربر رو به مشتری تبدیل کنه یا به عبارت دیگه نرخ تبدیل به مشتری بالاتری داره.
این راهنما هم برای افرادی که قبلا با این تست کار کرده اند میتونه مفید باشه و هم برای کسانی که برای اولین بار قصد استفاده از این تست رو دارند.
خوشبختانه یاد گرفتن و درک اصول تست A/B خیلی ساده است، فقط در بعضی قسمتها نیاز به دونستن آمار داره.

مزایا و معایب تست A/B

اگه تست A/B با موفقیت انجام بشه میتونه خیلی برای کسب و کارتون مفید واقع بشه. علاوه بر اینکه نرخ تبدیل به مشتری به طرز محسوسی افزایش پیدا میکنه، میتونید مهمترین و کم اهمیت ترین عناصر وب سایتتونو بشناسید، برگشت ترافیک رو بالا ببرید و آگاهی مردم رو از برندتون افزایش بدید.
اگه موقع استفاده از تست A/B اشتباهاتی مرتکب بشید، نتیجه حاصل شده نمیتونه به اندازه قبل مورد اعتماد و مؤثر باشه. حتما میپرسید چه اشتباهاتی ممکنه مرتکب بشیم. خب مثلا اینکه تست رو خیلی زود خاتمه بدید، هر بار بیشتر از یک فاکتور رو تغییر بدید، در تحلیل نتایج متوجه نشید اختلاف بین اثر A و B معنی دار هست یا نه، و یا اینکه بخواهید از نتایج تست وب سایتهای دیگران برای وب سایت خودتون استفاده کنید.
خیلی از این اشتباهات هم از یک منبع مشترک ناشی میشن و اون ذات انسانه.
دارکوب با این راهنما سعی داره شما رو در انجام یک تست A/B بدون اشتباه و خطا یاری کنه.

مراحل انجام تست A/B

این راهنما 5 مرحله داره که قدم به قدم و به ترتیب باید انجام بشن:

گام اول: فرضیه سازی

تئوری یا فرضیه مثل یه جرقه ای میمونه که مسائل بعدی رو بوجود میاره. بنابراین باید شفاف، دقیق و قابل اندازه گیری باشه. مثلا فرضیه میتونه این باشه: ” اگه تصاویر گرافیکی سایتمو بیشتر کنم اثر معناداری روی نرخ تبدیل به کاربر میذاره”. این فرضیه هر سه شرط بالا رو داره. پس اول ببینید میخواهید چی رو بهتر کنید، یعنی یه متغیر انتخاب کنید که میخواهید تغییرش بدید و بعد بگید هدفتون از این تغییر چیه، یعنی اگه چه اتفاقی بیفته این تغییر موفقیت آمیز بوده. این میشه جمله فرضیه.
اینکه فرضیه تون فرض صفر باشه یا فرض خلاف باشه، فقط تو بحث های آماری اهمیت داره. فقط لطفا در مورد اینکه چی رو میخواهید تست کنید خوب فکر کنید و براش وقت بذارید. از خودتون بپرسید چرا؟ برای اینکه چنین فرضیه ای دادید آیا مدرکی هم دارید؟ آیا واقعا خودتون فکر میکنید تغییر متغیر مورد نظر میتونه اثری در بهتر شدن سایتتون داشته باشه؟

گام دوم: URL

این راهنما برای تست A/B میتونه ثبت بشه و بعدا دوباره ازش استفاده کنید. بنابراین باید یه فضایی برای ثبت URLهای کنترل و تعدیل کننده داشته باشید. البته فکر نمیکنم حین انجام واقعی تست لازم باشه بهشون مراجعه کنید اما ثبت مراحلی که انجام میدید عاقلانه تره.

گام سوم: آمار

چون اکثرمون تو این قسمت گیج میشیم، فقط قسمتهای ضروری تحلیل آماری رو براتون توضیح میدم. اجازه بدید یه نگاهی به اصطلاحات آماری، معنیشون و اهمیتشون بندازیم:

• سطح اطمینان

این مفهوم خیلی مهمه چون در واقع نشون میده نتایج به دست اومده تا چه حد قابل اعتمادن. در ضمن از روی سطح اطمینان میشه اندازه نمونه رو هم فهمید. دست کم نگیریدش، اگه 99% از نتایج مطمئن باشید خیلی بهتر از 95 درصده. نسبت به پیچیدگی های اندازه نمونه هم هوشیار باشید و حتما دقت کنید که ترافیک کنونی کافی باشه.

• حد معناداری

حد معناداری یعنی 1 منهای سطح اطمینان. وقتی حد معناداری رو مشخص کنید، در واقع سطح اطمینان رو تعیین کردید.

• معناداری آماری یا p-value

گاهی اوقات این مفهوم درست فهمیده نمیشه، اما خوشبختانه منابع آماری زیادی حتی در سطح اینترنت وجود داره که میتونید با مراجعه به اونها از درستی کارتون مطمئن بشید. فقط یادتون باشه که معناداری خودش به تنهایی نمیتونه تضمین کننده موفقیت باشه. هر چی p-value کمتر باشه، تفاوت مشاهده شده بین A و B معنی دارتره.

• نرخ تبدیل به مشتری مورد نظر

من این مرحله رو هم اضافه کردم تا اینجا تصمیم بگیرید در چه صورتی تست با موفقیت انجام شده. مثلا اگه نرخ تبدیل کنونی 1/2% باشه، اونوقت 1/25% معنی داری آماری کافیه؟ بهتره هدفتونو یه جا یادداشت کنید.

• شانس رسیدن به هدف

بعضی از بسته های نرم افزاری میتونن با چند تا کلیک ساده جواب این سوال رو بهتون بدن. اگر هم از تیم متخصص طراحی و توسعه سایت دارکوب بخواهید براتون این تست رو انجام بده، ما خودمون بهتون اعلام میکنیمش. فقط یادتون باشه که تو این تحلیل، هر چی p-value بیشتر باشه بهتره. چون p-value نزدیکی نتایج به هدفتون رو مشخص میکنه.
برای برنامه ریزی و تحلیل تست A/B ابزارهای آماری زیادی وجود داره. مراحلی که اینجا براتون گفتیم مسیر رو براتون مشخص میکنه تا به جواب معناداری برسید وگرنه برای انجام خود تست باید از ابزارهای پیشرفته و حرفه ای آماری استفاده کنید و توصیه من اینه که هرچی دانش تون در این مورد بیشتر میشه از ابزارهای پیشرفته تر و حرفه ای تری استفاده کنید.

گام چهارم: اسکرین شات

شاید به نظرتون عجیب باشه. این که مرحله نیست! وقتی کار تست فرضیه تموم شد و نتایج رو در نمودارهایی که ابزارتون بهتون داد مشاهده کردید، یه طوری ازش عکس بگیرید و اونها رو ثبت کنید. بهترین کار هم همینه که اسکرین شات بگیرید. اینطوری برای آینده نتایج رو دارید.

گام پنجم: تحلیل

گام اول مهمترین گام بود و گام پنجم بعد از اون در مقام دوم قرار میگیره. جمله نتیجه گیری هم مثل جمله فرضیه باید نتایج رو به صورت کمی توضیح بده و اونها رو در یک جمله دقیق تفسیر کنه. مثلا “B ظرف مدت دو هفته 2/2% بهتر از A عمل کرد و یعنی از نظر آماری معنی دار است.” یه جمله نتیجه گیری خوبه.