Projektowanie eksperymentów dla początkujących (case study z reklamą banerową). Metodologia badań w biznesie.

meto1

 

            Kiedy odwiedzasz supermarket, możesz czuć przytłoczenie promocjami i darmowymi gadżetami, które dostajesz wraz ze swoim zakupem. Czy kiedykolwiek sobie wyobrażałeś, jak firmy decydują o tym czy będziesz bardziej podniecony promocją czy może darmowym prezentem ?

Jak oni mogą o Tobie tak dużo wiedzieć i być tak blisko Twoich uczuć w ogóle Cię nie znając ?

Jak  możliwości analityki i badań  rozwijają dalszą ewolucję firm ? Menadżerowie działów marketingu, oczekują od działów analityki dostarczenia wglądu w liczne pytania takie jak ” Czy nasi klienci bardziej kochają upominki od zniżek ? &” Czy nasi klienci odpowiadają na reklamy, które zawierają obraz ikony sportu ?

Oczywiście menadżerowie Ci zadają więcej różnych i dziwnych pytań, ale jeśli chodzi o pieniądze to prawda jest taka, że różnica pomiędzy mądrym, głupim i dziwnym pytaniem się zaciera

Od analityków danych wymaga się zagłębienia głęboko w dane w celu znalezienia tych odpowiedzi używając do tego dostepnych narzędzi i technik. Ale co jeśli nie mamy danych ? Jeśli firma nigdy nie wykorzystywała popularnej osobowości do reklamy lub jeśli nie oferowała darmowego prezentu to wtedy jak dane mają nam pomóc odpowiedzieć na to pytanie ?

Sytuacja w której istotne dane pozostają niedostępne jest dość powszechna w naszych czasach. Kiedy potykamy się z taką sytuacją, często wspomagamy się oceną eksperta lub próbujemy zidentyfikować odpowiednie pełnomocnictwa lub pytamy klientów. Gdy robimy tą ostatnią rzecz to dostajemy odpowiednie dane wymagane do odpowiedzi na nasze pytania. Proces pytania klientów wymaga wykonania eksperymentów lub testów. W tym właśnie procesie możemy uzyskać wynik lub odpowiedź na interesujące nas pytania.

Koncepcja testowania ( A/B, Split – Run, Plip – Flop oraz Test vs Control).

A/B, Split – Run, Plip – Flop oraz Test vs Control są powszechnymi metodologiami, które są wykorzystywane do zrozumienia pływu pojedyńczych czynników na zachowanie klientów.

Metodologia Split – Run Testing

W celu przetestowania efektywności marketingowej komunikacji (  głównie w drukowanych reklamach), można użyć testowania Split – Run lub testowania Flip – Flop. Testowanie split jest zdecydowanie najskuteczniejszym sposobem testowania drukowanych reklam. Do prowadzenia badań metodą Split wykorzstuje się dwie różne wersje tej samej reklamy, każda oczywiście z innym numerem identyfikacyjnym. Są one umieszczane do publikacji losowo tego samego dnia.  To zapewnia, że dokładnie połowa publikacji będzie ujawniała jedną wersję reklamy, a druga połwa drugą wesję reklamy. Sposób w jaki reklamy są umieszczane zapewnia, że próbki są absolutnie losowe pod każdym względem.  Podobna koncepcja może być uzywana do testowania stron internetowych, banerów oraz również jakichkolwiek funkcjonalności webowych.

Metodologie Flip Flop Testing.

W przypadku kiedy testowane uniwersum zmiennych nie gwarantuje giętkości prowadzenia kampani Split – Run, ale istnieją osobne publikacje reklam dla różnych regionów, można użyć różnych rekam dla różnych regionów. Najwększym problemem tej metody jest to, że próbki nie są losowe. A co za tym idzie ? Nie wykluczone, że inne czynniki niż region mogą wpływać na wyniki pomiarów.

Test vs. Control

Grupa kontrolna jest zdefiniowana jako grupa klientów, którzy są identyczni jak klienci normalni których jednak kwalifikuje się do kampanii  lub innej zamierzonej akcji marketingowej. Badani z grupy kontrolnej nie są poddawani jakiejkolwiek akcji. Niemniej jednak zachowanie klientów z grupy kontrolnej jest porównywane z zachowaniem klientów którzy są poddawani działaniu akcji makretingowej. Takie porównanie zapewnia dobre zrozumienie wpływu działania gospodarczego.

Problemy z tradycyjnym testowaniem.

Metodologie badawcze wymienione powyżej dostarczają solidne odpowiedzi dla wpływu pojedyńczego czynnika interwencji marketingowej za jednym razem. Co dzieje się jednak kiedy, czynników, które oddziałują jednocześnie jest zbyt wiele ? W takim przypadku, trzeba przeprowadzić dużą liczbę badań w celu ustalenia wpływu każdego czynnika. Jak wiemy, czytanie i wprowadzanie wyników testów  zajmuje dużo czasu i pieniędzy. Tak więc, wskazane jest aby sprawdzić wpływ wielu czynników oraz  zrobić wszystko by zapewnić sobie odpowiednie wnioski, że generuje się z badania niezbędną wiedzę w dostępnym budżecie. Co można zrobić inaczej ? Przekonajmy się na przykładzie.

Koncepcja metodologii projektowania eksperymentów.

Marketerzy często potrzebują testowania wpływu szerokiego zakresu targetowania, reklamy, promocji, wycen  i opcji produktów, aby znaleźć optymalną kombinację czynników by otrzymać pożądane wyniki przy najmniejszym możliwym budżecie.

Ponieważ budżet marketingu jest zawsze ograniczony, dlatego niemożliwe staje się przetestowanie wszystkich kombinacji każdego marketingowego parametru. Dlatego marketerzy często budują i testują ramy teoretyczne, które pomagają im w identyfikacji kilku krytycznych zmiennych dla których warto przeznaczyć budżet. W wielu przypadkach ( w sumie w większości dobrych badań marketingowych), koncepcja projektowania eksperymentów jest szeroko używana w budowaniu i testowaniu pewnych przewidywań teoretycznych. Projektowanie eksperymentów jest powszechną anlityczną techniką implementowaną do budowania dobrych ram teoretycznych.  Aby zilustrować  użycie projektowania eksperymentów, zacznijmy od internetowego banneru.

Istnieje wiele czynników, które wpływają na sukces reklamy typu baner. Ważne jest określenie (zoperacjonalizowanie) sukcesu metrycznego dla baneru rekamowego. Najbardziej powszechnym sukcesem metrycznym, którego się używa jest Clik Through Rate. Click through rate jest bardzo łatwym miernikiem, który jest wyliczany jako: Liczba odwiedzających użytkowaników którzy kliknęli w link reklamy podzielony przez liczbę użytkowników, którym wyświetliła się reklama.

Sukces baneru reklamowego zależy od wielu czynników np. takich jak: strona internetowa, treść reklamy, miejsce wyświetlania reklamy ( najważniejszy czynnik), umieszczenie reklamy. Z dostępną kombinacją zmiennych, koncepcja projektowania eksperymentów może być bardzo skutecznie aplikowana i mierzona w tym scenariszu.

Póki co, dość teori ! Myślę, że trzeba zrozumieć tę koncepcję w praktyce już teraz ! Dla uproszczenia, mam na uwadzę reklamę która składa się z następujących cech:

– obrazek

– wiadomość tekstowa na temat oferty i produktu

– przekierowujący link ( który przekierowuje na stronę reklamodawcy ) Jest to miejsce zwane „Call to Action Link”

Przykład ten zawiera w sobie następujące parmetry.

– pozycja obrazka ( lewa, prawa, środek)

– pozycja „Call to Action Link” ( na górze, pod spodem)

– obecność animacji i ruchu w obrazie (tak, nie)

– pozycja baneru reklamowego na stronie internetowej ( lewa, prawa)

Paremetry (wymienone powyżej) są także nazywane czynnikami. Wartość tego parametru lub czynika często nazywa się się poziomem lub atrybutem. Dla przykładu ” Pozycja obrazka) jest parametrem lub czynnikiem, a watości jakie przyjmuje to „Lewo „, „Prawo” oraz „Środek” które są poziomami lub atrybutami. Narysunku nr 1 przedstawiono przykładową kombinację czynników na stronie internetowej.

Rysunek nr 1.

W celu upewnienia się co do skuteczności wszystkich tych elementów, ważne jest aby przeprowadzić eksperymet gdzie odwiedzający stronę są wystawieni na wszystkie możliwe kombinacje czynników pokazanych powyżej przy jednoczesnym pomiarze wskaźnika CTR.  Tabela nr 1 przedstawia całkowite możliwe kombinacje.

Tabela nr 1.

Kombinacja Pozycja obrazka Pozycja „call to action link” Występowanie enimacji Pozycja na stornie internetowej
Lewa Prawa Środek Góra Dół Tak Nie Lewa Prawa
4 1 0 0 1 0 0 1 0 1
8 1 0 0 0 1 0 1 0 1
12 0 1 0 1 0 0 1 0 1
16 0 1 0 0 1 0 1 0 1
20 0 0 1 1 0 0 1 0 1
24 0 0 1 0 1 0 1 0 1
2 1 0 0 1 0 1 0 0 1
6 1 0 0 0 1 1 0 0 1
10 0 1 0 1 0 1 0 0 1
14 0 1 0 0 1 1 0 0 1
18 0 0 1 1 0 1 0 0 1
22 0 0 1 0 1 1 0 0 1
3 1 0 0 1 0 0 1 1 0
7 1 0 0 0 1 0 1 1 0
11 0 1 0 1 0 0 1 1 0
15 0 1 0 0 1 0 1 1 0
19 0 0 1 1 0 0 1 1 0
23 0 0 1 0 1 0 1 1 0
1 1 0 0 1 0 1 0 1 0
5 1 0 0 0 1 1 0 1 0
9 0 1 0 1 0 1 0 1 0
13 0 1 0 0 1 1 0 1 0
17 0 0 1 1 0 1 0 1 0
21 0 0 1 0 1 1 0 1 0

Można zaobserwowa, że są 3 możliwe pozycje zdjęcia, 2 możliwe pozycje guzika „Call to action link”, 2 konfiguracje działania animacji ( obecność lub brak) oraz 2 możliwych umiejscowień na stronie internetowej (lewa, prawa). W związku z tym będzie 3*2*2*2 = 24 kombinacji które można otrzymać w takim układzie eksperymentu. Jest to duża ilość możliwych kombinacji do indywidualnego zbadania.

Marketerzy używali koncepcji projektowania eksperymentów aby ograniczyć liczbę kombinacji ( spośród wszystkich mozliwych kombinacji) które muszą być sprawdzone aby wyciągnąś sensowne wnioski i zaplanować odpowiednie działania. W celu zrozumienia jak projektowanie eksperymentów może pomóc w ograniczeniu liczby combinacji, które muszą być testowane, trzeba zrozumieć działanie każdego atrybutu lub poziomu osobno jak i efekt tych atrybutów działajacych w interakcji.

Projektowanie eksperymentów bez efektów interakcyjnych.

Poziomy określonego parametru lub czynnika są stosowane jako zmienne do konstruowania funkcji odpowiedzi dla każdej kombinacji wymienionych w tabeli 1. Np. czynniki ” Pozycja obrazka” składa się z 3 poziomów . Dlatego też, ze względu na ilość stopni  swobody, trzeba utworzyć dla tej zmiennej dwie zmienne binarne. Każde dwa poziomy mogą być uznawane za zmienne binarne. I przypadku pozycji „lewo” i „prawo”  można użyć zmiennych binarnych w takich przypadkach. Jeśli obrazek jest w miejscu „lewa” to binarna zmienna przyjmuje wartość 1, jeśli inną to 0. Jeśli obrazek jest po prawej stronie to binarna zmienna przyjmuje wartości 1 w innym przypadku 0. Jeśli pozycja obrazka jest na śtodku strony to zmienne „lewa” i „prawa” przyjmują wartości 0. Podobnie można użyć jednej zmiennej w każdym przypadku innych parametrów ( Ponieważ reszta parametrów składa się z 2 poziomów czynnika). Jeśli nie zakładamy efektu interakcji pomiędzy czynnikami to funkcja odpowiedzi może być zapisana jako:

Ln(CTR/(1-CTR))=a + β(obrazek po lewej) + β2(obrazek po prawek) + β3 (guzik call to action na górze) + β4 ( animacja:tak) + β5 (pozycja na stronie po lewej)

W tym wzorze „CTR” oznacza prawdopodobieńśtwo odpowiedzi lubklikalności.   β reprezentuje wpływ każdego atrybutu lub poziomu na prawdopodobieństwo odpowiedzi.

Na podstawie poprzednich doświadczeń odkryto, że w większości przypadków, reakcje mogą być przewidywane przy użyciu funkcji logistycznej.  Generyczna funkcja odpowiedz wymagana jest przy każdej kombinacji projektownia. Przykładowy zapis kombinacji przedstawiono  w tabeli 2.

Tabela nr 2. Równanie dotyczące reagowania dla pierwszych dwóch kombinacji.

Kombinacja

Pozycja obrazka Pozycja „call to action link” Występowanie enimacji Pozycja na stornie internetowej Równanie dotyczące reagowania.
Lewa Prawa Środek Góra Dół Tak Nie Lewa Prawa

4

1 0 0 1 0 0 1 0 1

Ln(CTR/(1-CTR))=a+B1+B3

8 1 0 0 0 1 0 1 0 1

Ln(CTR/(1-CTR))=a+B1

Projektowanie eksperymentów z efektami interakcji.

Idąc dalej można powiedzieć, że połączenie animacji i umieszczenia reklamy po prawej stronie strony internetowej  może być bardziej efektywne w  połączeniu, ponieważ większość internautów skupia się na prawej stronie ektranu. Oznacza to, że interakcja pomiedzy miejscem a animacją musi być brana pod uwagę. Stąd funkcja odpowiedzi generycznych będzie mieć następującą formę:

LN(CTR/(1-CTR))= a + β1(obrazek po lewej) + β2( pozycja po prawej) + β3 (guzik call to action link na górze) + β4 (onimacja: tak) + β(reklama na stronie po lewej stronie) + β10( reklama na stronie po lewej stronie & animacja: tak).

Warto było by się dowiedzieć też o minimalnej liczbie eksperymentów, które trzeba przeprowadzić jeśli zakłada się obecność efektów interakcyjnych. Można łatwo zauważyć, że liczebność obserwacji powinna być bardzo duża jesli przewiduje się znaczną ilość efektów interakcji o różnym stopniu skomplikowania.

Aby wygenerować maksymalną wiedzę z każdego eksperymentu najlepiej jest przyjąć pełny projekt eksperymentalny gdzie wszystkie efekty są testowane. Niemniej jednak by zredukować koszty eksperymentu, można ograniczyć się do weryfikacji bardziej pożądanych efektów i spośród wszystkich wybrać tylko kilka.

Uwagi końcowe.

W tym wpisie opracowałem koncepcję projektowania eksperymentów. Do teraz miałeś intuicję o strategii konstruowania odpowiednich reklam przez firmy. Wcześniej firmy miały wiele problemów przy otrzymywaniu pozytywnych zwrotów z budżetu marketingowego. Powyższa technika nie tylko ratuje budżety, ale również pokazuje jak można ostrożnie i inteligentnie czerpać korzyści z tego typu działań w rynkowym poligonie.