Projektowanie eksperymentów dla początkujących ( case study z internetową reklamą banerową).

Wstęp.

            Kiedy odwiedzasz supermarket, możesz czuć przytłoczenie promocjami i darmowymi gadżetami, które dostajesz wraz ze swoimi zakupami. Czy kiedykolwiek sobie wyobrażałeś, jak firmy decydują o tym czy będziesz bardziej podniecony promocją czy może darmowym prezentem ? Jak oni mogą o Tobie tak dużo wiedzieć i być tak blisko Twoich uczuć w ogóle Cię nie znając ?

Jak  możliwości analityki i badań  rozwijają dalszą ewolucję firm ? Menadżerowie działów marketingu, oczekują od działów analityki dostarczenia wglądu w liczne pytania takie jak ” Czy nasi klienci bardziej kochają upominki od zniżek ? &” Czy nasi klienci odpowiadają na reklamy, które zawierają obraz ikony sportu ?

Oczywiście menadżerowie Ci zadają więcej różnych i dziwnych pytań, ale jeśli chodzi o pieniądze to prawda jest taka, że różnica pomiędzy mądrym, głupim i dziwnym pytaniem się zaciera

Od analityków danych wymaga się zagłębienia głęboko w dane w celu znalezienia tych odpowiedzi. Używając oczywiście do tego dostępnych narzędzi i technik. Ale co jeśli nie mamy danych ? Jeśli firma nigdy nie wykorzystywała popularnej osobowości do reklamy lub jeśli nie oferowała darmowego prezentu to wtedy jak dane mają nam pomóc odpowiedzieć na to pytanie ?

Sytuacja w której istotne dane pozostają niedostępne jest dość powszechna w naszych czasach. Kiedy potykamy się z taką sytuacją, często wspomagamy się oceną eksperta lub próbujemy zidentyfikować odpowiednie pełnomocnictwa lub pytamy klientów. Gdy robimy tą ostatnią rzecz to dostajemy odpowiednie dane wymagane do odpowiedzi na nasze pytania. Proces pytania klientów wymaga wykonania eksperymentów lub testów. W tym właśnie procesie możemy uzyskać wynik lub odpowiedź na interesujące nas pytania.

Koncepcja testowania ( A/B, Split – Run, Flip – Flop oraz Test vs Control).

A/B, Split – Run, Plip – Flop oraz Test vs Control są powszechnymi metodologiami, które są wykorzystywane do zrozumienia pływu pojedyńczych czynników na zachowanie klientów.

Split – Run Testing

W celu przetesowania efektywności marketingowej komunikacji (  głównie w drukowanych reklamach), można użyć testowania Split – Run lub testowania Flip – Flop. Testowanie split jest zdecydowanie najskuteczniejszym sposobem testowania drukowanych reklam. Do prowadzenia badań metodą split wykorzystuje się dwie różne wersje tej samej reklamy, każda oczywiście z innym numerem identyfikacyjnym. Są one umieszczane do publikacji losowo tego samego dnia.  To zapewnia, że dokładnie połowa publikacji będzie ujawniała jedną wersję reklamy, a druga połwa drugą wesję reklamy. Sposób w jaki reklamy są umieszczane zapewnia, że próbki są absolutnie losowe pod każdym względem.  Podobna koncepcja może być uzywana do testowania stron internetowych, badanerów oraz również jakichkolwiek funkcjonalności webowych.

Flip Flop Testing.

W przypadku kiedy testowane uniwersum zmiennych nie gwarantuje giętkości prowadzenia kampani Split – Run, ale istnieją osobne publikacje reklam dla różnych regionów, można użyć różnych reklam dla różnych regionów. Najwększym problemem tej metody jest to, że próbki nie są losowe. A co za tym idzie ? Nie wykluczone, że inne czynniki niż region mogą wpływać na wyniki pomiarów.

Test vs. Control

Grupa kontrolna jest zdefiniowana jako grupa klientów, którzy są identyczni jak klienci normalni których jednak kwalifikuje się do kampanii  lub innej zamierzonej akcji marketingowej. Badani z grupy kontrolnej nie są poddawani jakiejkolwiek akcji. Niemniej jednak zachowanie klientów z grupy kontrolnej jest porównywane z zachowaniem klientów którzy są poddawani działaniu akcji makretingowej. Takie porównanie zapewnia dobre zrozumienie wpływu danego czynnika na działania gospodarcze ludzi.

Problemy z tradycyjnym testowaniem.

Metodologie badawcze wymienione powyżej dostarczają solidne odpowiedzi dla wpływu pojedyńczego czynnika interwencji marketingowej za jednym razem. Co dzieje się jednak kiedy, czynników, które oddziałują jednocześnie jest zbyt wiele ? W takim przypadku, trzeba przeprowadzić dużą liczbę badań w celu ustalenia wpływu każdego czynnika. Jak wiemy, czytanie i wprowadzanie wyników testów  zajmuje dużo czasu i pieniędzy. Tak więc, wskazane jest aby sprawdzić wpływ wielu czynników oraz  zrobić wszystko by zapewnić sobie odpowiednie wnioski, że generuje się z badania niezbędną wiedzę w dostępnym budżecie. Co można zrobić inaczej ? Przekonajmy się na przykładzie.

Koncepcja projektowania eksperymentów.

Marketerzy często potrzebują testowania wpływu szerokiego zakresu targetowania, reklamy, promocji, wycen  i opcji produktów, aby znaleźć optymalną kombinację czynników by otrzymać pożądane wyniki przy najmniejszym możliwym budżecie.

Ponieważ budżet marketingu jest zawsze ograniczony, dlatego niemożliwe staje się przetestowanie wszystkich kombinacji każdego marketingowego parametru. Dlatego marketerzy często budują i testują ramy teoretyczne, które pomagają im w identyfikacji kilku krytycznych zmiennych dla których warto przeznaczyć budżet. W wielu przypadkach ( w sumie w większości dobrych badań marketingowych), koncepcja projektowania eksperymentów jest szeroko używana w budowaniu i testowaniu pewnych przewidywań teoretycznych. Projektowanie eksperymentów jest powszechną anlityczną techniką implementowaną do budowania dobrych ram teoretycznych.  Aby zilustrować  użycie projektowania eksperymentów, zacznijmy od internetowego banneru.

Istnieje wiele czynników, które wpływają na sukces reklamy typu baner. Ważne jest określenie (zoperacjonalizowanie) sukcesu metrycznego dla baneru rekamowego. Najbardziej powszechnym sukcesem metrycznym, którego się używa jest Clik Through Rate. Click through rate jest bardzo łatwym miernikiem, który jest wyliczany jako: Liczba odwiedzających użytkowaników którzy kliknęli w link reklamy podzielony przez liczbę użytkowników, którym wyświetliła się reklama.

Sukces baneru reklamowego zależy od wielu czynników np. takich jak: strona internetowa, treśc reklamy, miejsce wyświetlania reklamy ( najważniejszy czynnik), umieszczenie reklamy. Z dostępną kombinacją zmiennych, koncepcja projektowania eksperymentów może być bardzo skutecznie aplikowana i mierzona w tym scenariszu.

Póki co, dość teori ! Myślę, że trzeba zrozumieć tę koncepcję w praktyce już teraz ! Dla uproszczenia, mam na uwadzę reklamę która składa się z następujących cech:

– obrazek

– wiadomość tekstowa na temat oferty i produktu

– przekierowujący link ( który przekierowuje na stronę reklamodawcy ) Jest to miejsce zwane „Call to Action Link

– animacja

Przykład ten zawiera w sobie następujące parmetry.

– pozycja obrazka ( lewa, prawa, środek)

– pozycja „Call to Action Link” ( na górze, pod spodem)

– obecność animacji i ruchu w obrazie (tak, nie)

– pozycja baneru reklamowego na stronie internetowej ( lewa, prawa)

Paremetry (wymienone powyżej) są także nazywane czynnikami. Wartość tego parametru lub czynika często nazywa się się poziomem lub atrybutem. Dla przykładu ” Pozycja obrazka” jest parametrem lub czynnikiem, a wartości jakie przyjmuje to „Lewo „, „Prawo” oraz „Środek” które są poziomami lub atrybutami. Narysunku nr 1 przedstawiono przykładową kombinację czynników na stronie internetowej.

Rysunek nr 1.

obrazek 1

+ przykładowe parametry reklamy banerowej oraz innych nośników reklamy

rek_banerowa

W celu upewnienia się co do skuteczności wszystkich tych elementów, ważne jest aby przeprowadzić eksperymet gdzie odwiedzający stronę są wystawieni na wszystkie możliwe kombinacje czynników pokazanych powyżej przy jednoczesnym pomiarze wskaźnika CTR.  Tabela nr 1 przedstawia całkowite możliwe kombinacje.

Tabela nr 1.

Kombinacja Pozycja obrazka Pozycja „call to action link” Występowanie enimacji Pozycja na stornie internetowej
Lewa Prawa Środek Góra Dół Tak Nie Lewa Prawa
4 1 0 0 1 0 0 1 0 1
8 1 0 0 0 1 0 1 0 1
12 0 1 0 1 0 0 1 0 1
16 0 1 0 0 1 0 1 0 1
20 0 0 1 1 0 0 1 0 1
24 0 0 1 0 1 0 1 0 1
2 1 0 0 1 0 1 0 0 1
6 1 0 0 0 1 1 0 0 1
10 0 1 0 1 0 1 0 0 1
14 0 1 0 0 1 1 0 0 1
18 0 0 1 1 0 1 0 0 1
22 0 0 1 0 1 1 0 0 1
3 1 0 0 1 0 0 1 1 0
7 1 0 0 0 1 0 1 1 0
11 0 1 0 1 0 0 1 1 0
15 0 1 0 0 1 0 1 1 0
19 0 0 1 1 0 0 1 1 0
23 0 0 1 0 1 0 1 1 0
1 1 0 0 1 0 1 0 1 0
5 1 0 0 0 1 1 0 1 0
9 0 1 0 1 0 1 0 1 0
13 0 1 0 0 1 1 0 1 0
17 0 0 1 1 0 1 0 1 0
21 0 0 1 0 1 1 0 1 0

Można zaobserwować, że są 3 możliwe pozycje zdjęcia, 2 możliwe pozycje guzika „Call to action link”, 2 konfiguracje działania animacji ( obecność lub brak) oraz 2 możliwych umiejscowień na stronie internetowej (lewa, prawa). W związku z tym będzie 3*2*2*2 = 24 kombinacji które można otrzymać w takim układzie eksperymentu. Jest to duża ilość możliwych kombinacji do indywidualnego zbadania.

Marketerzy używali koncepcji projektowania eksperymentów aby ograniczyć liczbę kombinacji ( spośród wszystkich możliwych kombinacji) które muszą być sprawdzone aby wyciągnąć sensowne wnioski i zaplanować odpowiednie działania. W celu zrozumienia jak projektowanie eksperymentów może pomóc w ograniczeniu liczby kombinacji, które muszą być testowane, trzeba zrozumieć działanie każdego atrybutu lub poziomu osobno jak i efekt tych atrybutów działających w interakcji.

Projektowanie eksperymentów bez efektów interakcyjnych.

Poziomy określonego parametru lub czynnika są stosowane jako zmienne do konstruowania funkcji odpowiedzi dla każdej kombinacji wymienionych w tabeli 1. Np. czynniki ” Pozycja obrazka” składa się z 3 poziomów . Dlatego też, ze względu na ilość stopni  swobody, trzeba utworzyć dla tej zmiennej dwie zmienne binarne. Każde dwa poziomy mogą być uznawane za zmienne binarne. I przypadku pozycji „lewo” i „prawo”  można użyć zmiennych binarnych  w takich przypadkach. Jeśli obrazek jest w miejscu „lewa” to binarna zmienna przyjmuje wartość 1, jeśli inną to 0. Jeśli obrazek jest po prawej stronie to binarzna zmienna przyjmuje wartości 1 w innym przypadku 0. Jeśli pozycja obrazka jest na śtodku strony to zmienne „lewa” i „prawa” przyjmują wartości 0. Podobnie można użyć jednej zmiennej w każdym przypadku innych parametrów ( ponieważ reszta parametrów składa się z 2 poziomów czynnika). Jeśli nie zakładamy efektu interakcji pomiedzy czynnikami to funkcja odpowiedzi może być zapisana jako:

Ln(CTR/(1-CTR))=a + β(obrazek po lewej) + β2(obrazek po prawek) + β3 (guzik call to action na górze) + β4 ( animacja:tak) + β5 (pozycja na stronie po lewej)

W tym wzorze „CTR” oznacza prawdopodobieństwo odpowiedzi lub klikalności.   β reprezentuje wpływ każdego atrybutu lub poziomu na prawdopodobieństwo odpowiedzi.

Na podstawie poprzednich doświadczeń odkryto, że w większości przypadków, reakcje mogą być przewidywane przy użyciu funkcji logistycznej.  Generyczna funkcja odpowiedz wymagana jest przy każdej kombinacji projektownia. Przykładowy zapis kombinacji przedstawiono  w tabeli 2.

Tabela nr 2. Równanie dotyczące reagowania dla pierwszych dwóch kombinacji.

Kombinacja Pozycja obrazka Pozycja „call to action link” Występowanie enimacji Pozycja na stornie internetowej Równanie dotyczące reagowania.
Lewa Prawa Środek Góra Dół Tak Nie Lewa Prawa
4 1 0 0 1 0 0 1 0 1 Ln(CTR/(1-CTR))=a+B1+B3
8 1 0 0 0 1 0 1 0 1 Ln(CTR/(1-CTR))=a+B1

Projektowanie eksperymentów z efektami interakcji.

Idąc dalej można powiedzieć, że połączenie animacji i umieszczenia reklamy po prawej stronie strony internetowej  może być bardziej efektywne w  połączeniu, ponieważ większość internautów skupia się na prawej stronie ektranu. Oznacza to, że interakcja pomiedzy miejscem a animacją musi być brana pod uwagę. Stąd funkcja odpowiedzi generycznych będzie mieć następującą formę:

LN(CTR/(1-CTR))= a + β1(obrazek po lewej) + β2( pozycja po prawej) + β3 (guzik call to action link na górze) + β4 (onimacja: tak) + β(reklama na stronie po lewej stronie) + β10( reklama na stronie po lewej stronie & animacja: tak).

Warto było by się dowiedzieć też o minimalnej liczbie eksperymentów, które trzeba przeprowadzić jeśli zakłada się obecność efektów interakcyjnych. Można łatwo zauważyć, że liczebność obserwacji powinna być bardzo duża jeśli przewiduje się znaczną ilość efektów interakcji o różnym stopniu skomplikowania (interakcje 1, 2 i k rzędu).

Aby wygenerować maksymalną wiedzę z każdego eksperymentu najlepiej jest przyjąć pełny projekt eksperymentalny gdzie wszystkie efekty są testowane. Niemniej jednak by zredukować koszty eksperymentu, można ograniczyć się do weryfikacji bardziej pożądanych efektów i spośród wszystkich wybrać tylko kilka.

Uwagi końcowe.

W tym wpisie opracowałem koncepcję projektowania eksperymentów. Do teraz miałeś intuicję o strategii konstruowania odpowiednich reklam przez firmy. Po przeczytaniu tego wpisu jeuż wiesz jak firmy mogą o Tobie wiedzieć więcej. Badania i obróbka statystyczna danych daje wgląd w ludzkie zachowanie w każdym wymiarze jego życia i działalności.

Wcześniej firmy miały wiele problemów przy otrzymywaniu pozytywnych zwrotów z budżetu marketingowego z racji tego, że większość działań ludzkich odbywała się w realnym sklepie. Ówcześnie robienie zakupów przechodzi w coraz większej skali do internetu.  Powyższa technika nie tylko ratuje budżety, ale również pokazuje jak można ostrożnie i inteligentnie czerpać korzyści z tego typu działań w rynkowym poligonie.

www.metodolog.pl

metodolog_pl