O li T i hOnline Testing – the light in the tunnellight in the tunnel

October, 2010

AGENDA

• What is Online Testing?What is Online Testing?• How is it working?

i bl f S• Variables of Success• Case Studies• Conversion Optimization Consulting

What is Online Testing?

Online Testing (OL) Definition:Online Testing (OL) Definition:In a nutshell, online testing involves testing one or more gvariable from a webpage to identify which ones can create a positive difference in the conversion. h bl hThe winning variable then becomes the control, or bench mark which future ones aremark, which future ones are measured against.

Online Testing Steps

Scientific testing involves the following steps:1) Determining which element(s) of a page you want to test. 2) Creating the test / the test page3) Setting up the tool use for the testing3) Setting up the tool use for the testing4) Keeping good, accurate test records.5) Running the test campaign.6) ki d i l d i hi h i bl i h6) Tracking and comparing results to determine which test variable is the 

winner. (100 conversions)7) Repeating the cycle, constantly attempting to beat your existing control

Categories of Online Testing

• A/B test, Split test • MVT ‐Multivariable test/ , pPage 1: Control (the original) Page 1: Control (the original)

SUBSCRIBE

SEND ME THE FREE GUIDE NOW

SUBSCRIBE NOW

Page 2: Test page Page 2: Test page

SEND ME THE FREE GUIDE NOW

SEND ME THE INFO

GUIDE NOW

Time needed for testing?

LONGER Test Period SHORTER Test Period

# of Alternatives / Variables

More (MVT) Less (A/B)

Difference in Results Lesser Greater

Traffic Volume Less More

Confidence Level Higher > 90% Lower < 90%

100 conversions

Case Study 1 – Relevancy 

ORIGINAL TEST

Partial results

Relevant? 

NOT YET !NOT YET !

Risks? What Risks?

• All Test Types are notAll Test Types are not Equal

• Comparing & Contrasting A/B d MVTA/B and MVT

• The Risk of the Endless Test

KEY principles for online tests

Test Methodology– Is A Process !– Single Variable Test Formula

• The most important tool for performing a useful experimentThe most important tool for performing a useful experiment. – The (relevant) Academic Vocabulary

• There are Concepts, Terminology, Differences between Variabled d d h l• Understand and Use them Properly

– Test Protocol• Use proper tool organizes each stage of the test process and automatically calculates all of the key equations.

KEY principles for online tests

Test Validityy• Understanding of validity principles, so that you can be 

confident in the results of your test.– The Threats to Test Validity

• "history effect", • "instrumentation error"• "instrumentation error"• "sample distortion”

– The Sample Size ValidityThe Sample Size Validity• The key mathematical equations for determining test size.

– The Validity Formula

KEY principles for online testsTest Planning• Which variables to test? 

– Knowing what to test is as important as knowing how to test. – The Optimization Formula

• Prioritize your testing goals• Prioritize your testing goals. • More revenue = right order.

– The Test ROI Calculation Tool• Calculates the compounding ROI on a given series of tests. • Saves time and money as it helps you determine the impact of each test on your marketing budget.

– Radical Redesigns• How to capture multi‐variable test results with single variable testing techniquesq

What’s the big deal about Online Testing?

• Online Testing:Online Testing:– MotivationValue proposition– Value proposition

– IncentiveA i t– Anxiety

– Friction 

C = 4m + 3v + 2(i f) 2a ©C = 4m + 3v + 2(i-f) -2a ©

When?

• How would you Know WHEN need TO APPLYhi ?this strategy?

• The right answer: 

• ALL THE TIME there is an• ALL THE TIME there is an Opportunitypp y

• Amazon – case study: 200 li li t t i d200 live online tests running every day

Case Study 2‐ The Formula!

816% Growth in New Subscribers

ORIGINAL TEST

Case Study 3 – Prove It!

Case Study 3‐ Treatment100% Money BacK Guarantee – Eliminating anxietY

Call to Actions highlighting the benefitsCall to Actions highlighting the benefits

Let’s compare …

ORIGINAL TREATMENT

Case Study 4: Is It Worth it?

Professional Photographerg p• Status:

– New site/– Artistic / flash

– Minimum content– No commercial aspect

• Goals:– To get New Clients

• Strategies:– They decided to do PPC– Adding some wedding pictures on the actual siteAdding some wedding pictures on the actual site

Case Study 4 – cont.

• Our proposal:• Our proposal:– Landing Pageg g

• Reaction:– Fighting

• Agreement:• Agreement:– Online Testing 

Case Study 4 – cont.

• Results:Results:– Our page performed better: 71.6% improvement in conversion (contacts)in conversion (contacts)

• The client got 4 wedding contracts, with an online marketing budget of 3 5% spentonline marketing budget of 3.5% spent

Oak Photography LP

Differences

Oak Photography LP

Differences

ATTENTION

• Controversy about Best PracticesControversy about Best Practices

• Example: Video on AutoStart or lPress Play

Case Study 5 ‐ controversy

Vid Pl N t Pl ?Video – Play or Not Play ?

63% improvement in conversion with Video on autoplay

CONCLUSIONS

• Do not go Blind with your marketingyour marketing 

• Focus your money and resources where it counts

• Get confirmation you are on the right trackg

Conversion OptimizationEworks WSI Cyprus:

• Consulting Services• Consulting Services• Landing Page / Website / Email M k tiMarketing

• Report (14‐20 variables analyzed)• 100% Money Back Guarantee (certain conditions apply)

• Our Clients Implement 95‐100 % of our recommendationsof our recommendations

EworksWSI CyprusSERVICES:- Webdesign - Interactive Content

(digital publishing)- Landing Pages Design

- Website Conversion Optimi ation

( g p g)

-Digital Marketing

Flash ContentOptimization

- Landing Pages Conversion Optimization

- Flash Content

- Print Design

CONTACT INFO: i f @ k i

p

- Email Marketing Conversion Optimization

- Logo Design

info@eworkswsi.com.cy+35799‐555747www EworksWSI com cywww.EworksWSI.com.cy

PROMO !

ONLY for our clients:ONLY for our clients:‐ Until Dec 31, 2010O li i di d f € 00 €300‐ Online testing discounted from €500 to €300

A d hi i ll‐ And this is not all ……

PROMO !

Package 3:Package 2:Package 1:2 sample design1 Online TestingCost Package:

2 sample designCost Package: €600

1 sample designCost Package: €450 Cost Package: 

€685(Information

€600 (Information Architecture Doc

€450 (Information Architecture Doc (Information 

Architecture Doc completed)

Architecture Doc completed)

Architecture Doc completed)

Contact  Eworks WSI Cyprus

Contact us for more infoContact us for more info

k S CEworks WSI Cyprus

info@eworkswsi.com.cywww eworkswsi com cywww.eworkswsi.com.cyTel: +357‐99555747