As we approach Experimentation Heroes 2024, we are interviewing several specialists in experimentation who exemplify the qualities of an actual Experimentation Hero. First up: Simonluca Definis.

Have you got your ticket for Experimentation Heroes 2024 yet? Or do you want to submit a case and get the chance to present on stage? Visit experimentationheroes.nl/tickets for tickets and more details.

Who is Simonluca Definis?

Simonluca Definis is a Digital Experience Designer at frog, part of Capgemini Invent NL, currently consulting at Philips D2B in the healthcare system sector. With a passion for transforming insights into innovative ideas, Simonluca believes his superpower lies in “rapidly prototyping product or service solutions for market MVPs.” In this interview he will explain why.

Prototyping in healthcare

In 2018, Simonluca and his team collaborated with a global healthcare leader to develop a service strategy for a nasal spray product. They conducted four weeks of preliminary international data-driven research, focusing on perceived pollution in some of Europe’s most polluted cities. “This experiment revealed that in certain countries, customers rely heavily on pharmaceutical professionals for quick healthcare tips,” Simonluca explains. This insight allowed the team to prototype a solution tailored to this reliance, marking a successful experiment that Simonluca is particularly proud of, and which shows his experimentation superpower.

Experimentation at Philips

Within Philips, experimenting and testing have become increasingly integral to their processes. Over the past few years, Simonluca’s team has worked diligently to help business and product owners understand the value of their data-driven and design processes. “ We’ve emphasized how an experimental and iterative approach can significantly enhance our final deliverables,” he explains. Although they are still striving for the ideal, fully integrated cross-disciplinary scenario, substantial cultural improvements have been made.

UX and AI: The Start of a Massive Revolution

When it comes to the influence of AI on his work, Simonluca observes that many design professionals in the UX industry are currently exploring AI tools. These tools are used to complete some tasks or create basic foundations, such as suggesting questions for user interviews, creating personas, or generating variant designs for A/B testing, but this is only the start of it. “We are just at the beginning of a massive revolution”  he remarks, expressing both curiosity and apprehension about how AI will impact many current jobs.

Convincing stakeholders: Never discuss data in isolation

Despite his successes, his experimentation journey, however, has not been without its challenges. Convincing senior stakeholders to adhere to the integrated optimization cycle, which includes data-driven research and customer validations, has been a significant obstacle. “Often, stakeholders are tempted to bypass these steps to save time, resources, or budget when launching an experience,” Simonluca noted. Despite these challenges, he has demonstrated that the optimization cycle, based on both quantitative and qualitative validation methods, is crucial for organizations to achieve a high return on investment (ROI). Additionally, ensuring that end-to-end research insights are effectively deployed from the initial pre-analysis phase through to development and implementation requires close collaboration with multiple teams.

Through this experimentation journey, Simonluca has learned a valuable lesson” “Never discuss data in isolation; always contextualize it with a narrative and tailored storytelling” he emphasizes. This approach has proven to be a game changer in his experience of convincing stakeholders.

Use storytelling to make data compelling

Finally, Simonluca offers valuable advice for aspiring experimentation heroes. “A true experimentation hero is first of all an advocate for users and a champion of the design process,” he advises. They bridge business conversations and user needs through design thinking methodologies, facilitating decision-making and co-creation with multidisciplinary teams, especially those focused on data and optimization. “Most importantly, an experimentation hero brings fun and positivity to the team and uses storytelling to make data compelling.”

The realm of experimentation is one of constant evolution, marked by a multitude of influences, perspectives, and advancements. From navigating the challenges of procuring reliable data despite increasingly stringent privacy regulations, to major corporations relinquishing their foothold in experimentation ventures – these factors collectively create a complex backdrop. For enterprises venturing into the realm of experimentation for the very first time, these dynamics certainly don’t pave an easy path, and serve as a base for a rich discussion. In this interview, we talk with Maarten Plokker (SiteSpect), as we delve into these intricate topics.

Maarten Plokker is the Managing Director of SiteSpect Europe. SiteSpect is one of the sponsors for the 2023 edition of DDMA Experimentation Heroes, scheduled for October 23rd. On this day, the most outstanding experimentation heroes from the Dutch Market will gather to showcase their finest experiments on stage. If you’re keen on participating or attending, you can find additional details at experimentationheroes.com.

Q: Gathering reliable data nowadays is easier said than done. What leads to this difficulty?

A: Privacy laws have and will continue to tighten. With a rising focus on user privacy, browsers now have built-in privacy features activated by default. We appreciate this as users, however, for those curating user experiences, these changes have impacted data previously used for enhancing and A/B testing digital interactions. Browsers have all but eliminated the use of third-party cookies. This has been an issue for the ad-serving industry, but a non-issue for experimentation since testing platforms deal with first-party cookies. However, many browsers now also delete first-party client-side cookies after 7 days, some in as little as 24 hours. This means a returning user might be repeatedly treated as a new user if they leave the site and don’t return for a period of time. This not only dramatically skews data on things like loyalty and new user acquisition, it also creates a whole segment for which you can’t provide a personalized, sticky user experience. And without any evident errors, everything appears to be working fine in terms of personalization, data collection, and data accuracy, but it’s not – far from it. Skewed data, bad user experience, the inability to personalize and experiment on a segment of users…it’s very counterproductive to experimentation and CRO. With client-side tools, you also have issues like JavaScript errors, flicker, and latency, and these all can negate the “improvements” you’re trying to test. While SiteSpect natively addresses all these issues, most tools don’t, unless you move to a more server-side approach.

Q: You used the terms client-side and server-side a bit just now. Could you educate us a bit on the distinctions between the two and why some organizations or agencies might choose one or the other?

A: Sure, let’s start with some quick definitions. Client-side pertains to changes and tests done at the browser, while server-side involves changes and tests delivered from the servers. SiteSpect is capable of doing both, because it uniquely alters things in the middle of that flow, but more on that later In traditional client-side experimentation, a browser receives a web page, and the page gets rendered in the browser. Then, code is used to reach out to a third party and modify the experience after the page is loaded and collect data on it. A tool like the now-retired Google Optimize is a prime example of a client-side tool. Client-side tools are typically user-friendly and easy to get going but have limitations. While they can assess elements like copy, images, and promotions, they can’t optimize more complex elements like checkout flow, shipping thresholds, search and recommendation algorithms, or test mobile. They also suffer from the data and performance issues I outlined a few minutes ago.

Server-side experimentation addresses those performance and data issues and allows for more advanced use cases. However, server-side is far more resource-intensive, requiring coding and developers, and typically constrains experimentation to release cycles. Often a transition to server-side moves control from Marketers to Developers, with the hope that the Product team can and will balance marketing, feature, and UX priorities equitably. Still, whether it’s client-side, server-side, or both, we’re often talking about siloed tools that confine teams, because the tools themselves are almost always offered with different implementations, logins, and interfaces, and they are designed based on different technical skill sets. SiteSpect is the only tool that straddles these two worlds by making changes between the client and server, and so it combines the benefits of both client and server-side and doesn’t drag with it the issues of either, and it does so in a single user interface which is something few tools do.

Q: You mentioned Google Optimize and its recent sunset, and I recently heard Oracle is sunsetting its Maxymiser product as well. What do you make of that? Is it a coincidence?

A: I don’t think one necessarily has to do with the other, but that doesn’t mean it’s only a coincidence. Some of these larger companies like Google, Oracle, and I could even throw Adobe in there as well, they do many things, but experimentation has never been at their core. It has seemed more like an afterthought. To their credit, these companies keep a keen eye on their longer-term strategies and their core focus and are willing to bail on things that aren’t part of that. There are companies out there that are 100% focused on experimentation and have really honed their offerings. I think that plays into a larger company’s appetite to continue to develop, market, sell, and support what has become a set of sub-par experimentation tools. So that’s what I think happened there. We’ve already converted a ton of former Google Optimize customers. I’m almost sad that the sunset deadline has passed because it’s been good for business [smiles]. I’ll be watching the movement with Oracle, as their announcement is fairly recent. Separately there’s a host of companies like Optimizely that were once heavily focused on experimentation, but they’ve gone through acquisitions and mergers, etc. and the market feedback shows they are diversifying their R&D and sales focus significantly towards the other offerings that are now part of their portfolio. It’s all pretty interesting.

Q: It certainly sounds like there is a lot of movement out there. So what guidance can you give organizations who are either embarking on experimentation for the first time, who have been displaced by their tool sunsetting, or who are looking to expand from pure client-side to server-side

A: There are things you want to consider about your organization, your UX priorities, your culture, and your technology disposition. We actually have a short and fairly solid eBook we put out to help organizations walk through that process. Anyone can contact me for a copy of that. Most organizations have a build-or-buy question to answer, and the answer may differ based on the technology and what it’s providing to their competitive edge and overall strategy. We sometimes see super large enterprises with a ton of developers build their own experimentation platforms, but it’s rare, and when we see it, it’s almost always of the server-side variety. However, those companies are still often functionally behind a fairly mature experimentation space. So while we may see that with a Netflix or Booking.com, for the most part, we still see most organizations, midsize, large, and even very large enterprises buying solutions like ours, and that’s because they want something that already brings Marketers, Developers, Product Managers, and CRO Specialists under one platform umbrella. They want client-side, server-side, personalization, API transformation, and product recommendations in one interface, and they want to include agency-level optimization consulting as extensions of their own teams.

To conclude

In the dynamic landscape of experimentation, where influences, regulations, and technological advancements shape the path forward, the challenges and insights discussed in this interview provide a profound understanding of the intricacies involved. We hope that Maarten Plokker’s insights shed light on the evolving challenges of data privacy regulations, the transition from client-side to server-side experimentation, and the changing dynamics of major players in the field. As organizations embrace experimentation to enhance user experiences and drive growth, the complexities of choosing the right approach, tools, and strategies become paramount. With the sunsetting of tools like Google Optimize and Oracle Maxymiser, a pivotal shift is observed, reflecting the market’s demand for dedicated, specialized solutions. As the experimentation journey continues, organizations must carefully consider their unique needs, technological landscapes, and collaborative aspirations, aiming to strike a harmonious balance between innovation and stability. In this era of transformation, this combination illuminates the path forward.

Bij CRO draait alles om groei. Groei door optimalisatie en innovatie. CRO als discipline groeit ook en is dus volop in ontwikkeling. Daarom is het belangrijk om als CRO-organisatie doorlopend te optimaliseren en te innoveren, aldus Maurice Beerthuyzen, Managing Consultant bij Clickvalue (sponsor van de DDMA Dutch CRO Awards 2022). In dit interview vroegen we hem hoe je dit voor elkaar krijgt.

Hi Maurice, je geeft aan dat de CRO werkwijze een goede methode is om binnen je organisatie te innoveren. Hoe richt je je CRO-praktijk daarop in?

‘CRO-specialisten optimaliseren en innoveren continu. Of het nou gaat om platformen, email, of andere vormen van communicatie. Iedere CRO-er weet hoe belangrijk het is optimalisatiekansen te onderbouwen met data, dat je problemen moet onderscheiden van oplossingen en dat je je oplossingen moet valideren. Deze CRO-werkwijze kun je ook toepassen binnen je innovatiepraktijk. Baseer je groeikansen op data. Denk bijvoorbeeld aan trendrapporten en stakeholder-interviews. Wat zijn de belangrijkste marktontwikkelingen? Hoe wordt je dienstverlening binnen en buiten de organisatie gewaardeerd? Prioriteer vervolgens nauwkeurig je groeikansen en valideer ze samen met stakeholders. Dit is erg belangrijk. Je moet samen innoveren. Alleen zo snappen alle betrokkenen waar je naartoe werkt en welke innovatie wordt beoogd. Wij doen dit zelf door middel van ‘Change OKR’s’. Onze discipline leads stellen deze op en presenteren die aan het team. De onderliggende initiatieven kunnen door alle teamleden worden opgepakt. Zo zorgen ze voor een duidelijke koers en realiseren ze betrokkenheid en commitment binnen onze teams. Ze waarborgen dat iedereen binnen het team ergens binnen het innovatietraject verantwoordelijk voor is.’

Wat zie jij binnen het vakgebied CRO gebeuren waar men op kan innoveren?

‘CRO is enorm in ontwikkeling en zie je steeds vaker als methodiek terugkomen binnen bestaande product, design en development teams. CRO als begrip bestaat ook eigenlijk niet binnen onze organisatie omdat dit voor ons een te generalistisch perspectief schetst van het vakgebied en geen recht doet aan andere essentiële specialisaties binnen het vak. Denk aan specialisaties als research, design-analyse, design, psychologie, copywriting, projectmanagement, etc. Innovaties vinden ook plaats bínnen deze disciplines. Het is belangrijk je ook specifiek daarop te richten. Zo bieden wij onze experts de mogelijkheid om zich in hun specifieke vakgebied verder te specialiseren – en dus niet alleen CRO breed.

UX Design is een mooi voorbeeld. Doordat wij specialisten opleiden in hun eigen vakgebied binnen CRO zijn ze goed inpasbaar in bestaande CRO- optimalisatie- of PO-teams. Zo heeft iedereen een gelijkwaardig kennisniveau. Hierdoor kun je eenvoudig hybride teams samenstellen en eventuele kennis- of competentie- gaten invullen.

Binnen de markt is er een toenemende behoefte aan een centraal beschikbaar, uniform klantbeeld. Iets waar we vanuit DDMA veel aandacht aan besteden. Bestaan er innovaties om dit te bereiken?

‘We zien inderdaad dat een groot deel van de markt de klantinzichten die ze verzamelen niet uniform of centraal opslaat. Dit gebeurt vaak nog in mapjes, met legacy software of (te) complexe systemen, met als gevolg onvoldoende tijd om die informatie op de juiste manier te ontsluiten – zelfs als er wel de juiste tools beschikbaar zijn. Hierdoor neemt de (her)bruikbaarheid van de verzamelde inzichten af.

Een tool uitzoeken is dus niet voldoende. Je dient hiervoor een duidelijke, eenvoudige workflow in te richten. Wij hebben natuurlijk voorkeuren voor tools, maar kunnen onze kennisbank workflow ook doorvoeren op software die klanten reeds inzetten. Hierin kunnen we inzichten van tientallen jaren AB-testen bundelen en input verzamelen voor specifieke onderdelen in het CRO proces. Denk bijvoorbeeld aan het proces van opportunity refinement, waardoor we met deze kennisbank kansen beter kunnen prioriteren en aanscherpen. Daarnaast kan zo’n kennisbank solution designers helpen met het zoeken naar de beste oplossing. Overal in het CRO proces biedt een kennisbank meerwaarde. Het logisch structureren van de data, maar ook het controleren van deze data op vooraf bepaalde criteria is onderdeel van deze workflow.’

We optimaliseren steeds meer binnen de data-driven marketingsector. Wat daarmee gepaard gaat is dat marketingpraktijken binnen de meeste disciplines steeds geavanceerder en ingewikkelder worden. En dat verschillen in maturity in de markt groot zijn. Denk bijvoorbeeld aan complexe AI-modellen en machine learning. Is dat ook het geval bij CRO? En zo ja, bestaan er innovaties zodat je hier altijd mee om kan gaan?

‘Ja, ook voor CRO geldt dat de uitvoering steeds ingewikkelder wordt. De toename van complexiteit van experimenten en de bijkomende verschillen in maturity binnen CRO teams is zeker zichtbaar. Dit kan gevolgen hebben voor de snelheid en output van je programma. Wat hierbij kan helpen is het inrichten van flexibiliteit in je aanpak door bijvoorbeeld meerdere validatiemethoden te omarmen in je CRO-praktijk waardoor je situationeel kunt kijken welk type validatie op welk moment de meeste waarde oplevert en je inzichten kunt blijven leveren, blijft leren en niet steeds stil komt te staan.

Enkele voorbeelden:

• Attitude of kwalitatieve validatie: afhankelijk van de hypothese kan je hiermee bijvoorbeeld brand teams helpen beoordelen welke wijziging bijdraagt aan hun doelen. Je kunt dit bovendien inrichten als pre-validatie instrument om de succeskans van een opvolgend kwantitatief experiment te vergroten.
• Fast & Slow track validatie: door in je CRO Pipeline verschillende type experimenten te definiëren kan je meerdere typen experimenten naast elkaar draaien en continue programma output verzekeren.
• Behavioral validatie: als je louter in het gedrag geïnteresseerd bent, kun je naast je analytics-stack ook overwegen om customer-experience-tools in te zetten waardoor je vaak rijkere inzichten ontvangt in gedrag.
• Het afwegen van LEARN en EARN in je experiment opzet: experimenteren om van te leren of experimenteren om mee te verdienen? Door deze afweging vaker te maken kun je een grotere verscheidenheid aan CRO-doelen bedienen.

Zo kun je dus per situatie afwegen welk type validatie het meest geschikt wat je soms winst kan opleveren; lagere kosten, sneller leren, meer output, etc.’

Zijn er nog valkuilen waar je voor moet waken om je CRO-praktijk naar een hoger plan te tillen?

‘Je moet oppassen dat je niet te ver afdwaalt van de inhoud. CRO op de juiste manier toepassen betekent ook veel project-/procesmanagement, met vaak handwerk. Voor sommigen is dit zelfs het minder leuke deel van het werk. Veel activiteiten binnen CRO kun je echter prima automatiseren. Denk bijvoorbeeld aan:

• Het automatisch monitoren van testen
• Het automatisch evalueren van testen
• Het automatisch runnen, pauseren en re-runnen van testen
• Het automatische laten versturen van “decision supporting” inzichten
• Het automatisch lanceren en releasen.

Op die manier houd je meer tijd over voor de inhoud en het mensenwerk wat CRO juist zo leuk maakt.’

Maurice Beerthuyzen, Managing Consultant bij Clickvalue, een van de sponsoren van de DDMA Dutch CRO Awards 2022, die op 3 november worden uitgereikt in B. Amsterdam. Wil jij weten welke nomineerden gaan winnen? Bestel nu je ticket.

Building a successful optimization program is the holy grail for many companies. ‘It depends on careful planning, implementation, and measurement’, according to Maarten Plokker, Managing Director at SiteSpect Europe (Sponsor of the DDMA Dutch CRO Awards 2022). Easy to say, you might point out. How do you achieve this then?

Basically, you should include the three critical elements for implementing a profitable optimization program, which consist of:

1. Forming a Great Experimentation Team
2. Creating an A/B Testing Plan
3. Getting Your Stakeholders on Board

In this article I’ll elaborate on each of these elements one by one.

Forming a Great Experimentation Team

Experimentation involves a lot of different skills coming together in unison. This should always happen under some degree of project management and supervision, with the right central processes to hold and oversee all skills and stakeholders, to guarantee that everything runs on time. Most companies start out with a conversion manager/specialist, or a similar person, whose background is likely to be in marketing, analytics, UX, or maybe a mix of each. If your company wishes to have an in-house Experimentation Team – no outsourcing to agencies, you need to consider all the skills required for this team, which are:

• Analytics & Research – the ability to listen to and understand customers using multiple different sources of data, and to be able to translate the data into insight and ideas and generate hypotheses for experimentation.
• Design & Creative – the ability to both visualize and realize the application of a test hypothesis on the front-end user experience.
• Development and Technology – the ability to build and produce the designed experience, as well as support the implementation and maintenance of the various technologies required for the whole operation.

Can your company afford to hire someone for each of these roles? Or do you need to outsource? Once your company has determined how these skills will be represented, you can create an image of the team you want to put together with the allocated resources. Once you have this image there are two more things you need to consider to actually start building your team: gathering leadership support and socializing team efforts.

1. Leadership support includes gathering digitally minded executives who champion A/B testing projects and see the opportunities available for it. You want to convince them of wanting their names associated with the financial gains that A/B testing so commonly produces. They also need to recognize the value of using A/B testing to prevent mistakes from happening so they can report saving the company millions as they are reporting incremental revenue. Having leadership support for the Experimentation Team will help sustain your optimization program.
2. Finally, make sure to socialize and monetize the Experimentation Team’s efforts throughout the company. Top down and bottom up. Doing this will provide clarity to other internal resources in why their content is changing in a seemingly random way. Secondly, it creates accountability for the Team to produce more. It gives them the platform they need to talk about their successes and failures.

Creating an A/B Testing Plan

Companies with highly successful A/B testing and optimization programs have a very formal process for requesting and planning A/B tests. Despite the fact that some in our industry love to proclaim, “A/B test early, A/B test often, A/B test aggressively,” the reality is that good A/B testing can be quite an intensive process, and the results really depend on the effort that is put in. Without a structured plan for A/B testing, it is incredibly easy to end up with meaningless data, wasted time, and frustrated internal stakeholders.

Still, developing an A/B testing plan is quite simple. The following questions are a good place to start.

1. What is being A/B tested?
2. Why is it being A/B tested?
3. What are the expectations for the A/B test?
4. What are the measures of success for the A/B test?
5. What are the risks associated with running the A/B test?
6. What internal resources are required to run the A/B test?
7. Who is requesting the A/B test?
8. By when are results needed?

Individually, each of these questions is relatively easy to answer. Some are technical (#5 & #6), some are theoretical (#3), and some are political (#7 & #8). The best answers are not page-long explanations; rather, concise explanations designed to help the Experimentation Team best plan for the deployment of the A/B test.

Most people initially get stuck answering questions three, four, and five. Measures of success and risks associated with A/B testing are important enough issues that they merit their own best practices. Expectations are tough, at least until you start to get the hang of A/B testing because it is impossible to predict whether a change will result in a substantial improvement, a small improvement, or a net decline.

Your Experimentation Team should plan to have a formal A/B testing plan documented and ready to go when you start to socialize the group with senior stakeholders. The presence of this document and a few examples of the kind of information you’re looking for will go a long way towards demonstrating that you are serious about A/B testing. Most senior executives have seen enough ad hoc exercises designed to drive incremental improvement during their tenure to appreciate the level of consideration a plan conveys and understand the likelihood of failure in the absence of an A/B testing plan.

Requiring a formal A/B Test Planning document from anyone in the organization wanting to leverage the Experimentation Team, will allow the team to insert A/B tests into a long-term schedule prioritized by opportunity, risk, and political considerations. While I don’t recommend the creation of a timeline so structured that real opportunities will be lost—A/B testing is frequently an opportunistic endeavor, especially when there is a high level of awareness about A/B testing efforts—having this “roadmap” for A/B testing projects dramatically improves each A/B test’s likelihood for being successfully executed.

Ultimately, the goal for requiring a formal A/B test plan is to drive home an appropriate level of seriousness and rigor about A/B testing in your organization. Especially if your results are similar to the companies interviewed for this research, your successes will breed the desire to create more successes. If any product manager who walks through the door can have his or her A/B test jump the queue with little more than waving of the hands and saying, “make the button more blue,” then you are destined to struggle to get your A/B testing program off the ground.

Conversely, if you provide clear guidance about what is required and how the requirements will be evaluated and slotted, at least in our experience, you will soon exceed your expectations and be well on your way to success.

Getting Your Stakeholders on Board

As mentioned above, management and leadership support for A/B testing projects is critical. Having buy-in from members of the senior management team / C-Level will make or break A/B testing efforts. Work with these stakeholders from the beginning—in concert with the executive sponsor—and directly solicit their feedback, suggestions, and ideas that can be A/B tested by the newly formed Experimentation Team.

Another consideration is to establish a “Multivariate Testing Steering Committee” made up of senior members who are helping to decide what will be A/B tested, when, and how. I recommend socializing the A/B testing program with senior management early on. You will undoubtedly need their support to assemble the Experimentation Team and will often need budget, approval, or assistance getting A/B testing technology implemented. By approaching management with a clear plan for success, you are far more likely to gain their critical support and validation for your work.

Summary

By creating and implementing the three critical elements outlined, your company will be set up for a higher rate of success when it involves optimizing the customer experience. With a team, a plan and stakeholder support in place, the next phase is making sure your tech stack can support your goals and objectives for experimentation.

If you are considering an optimization platform, we encourage you to download our Ebook: Choosing an Optimization Platform.

Maarten Plokker is Managing Director of SiteSpect Europe, sponsor of the DDMA Dutch CRO Awards 2022. During the award ceremony on November 3 in B. Amsterdam, we will the crown the very best CRO cases the Dutch marketing industry has to offer. Do you want to attend? Get your tickets at: dutchcroawards.nl/koop-tickets

A/B-testen worden vaak gedaan met het oog op het verhogen van harde conversies. Voor veel bedrijven kan het ook zeker de moeite waard zijn om het online servicegedeelte van je organisatie te optimaliseren, zeker voor complexer aan te schaffen producten zoals brillen en lenzen, vinden Berber Bijlsma, online analist bij GrandVision Benelux, en Thecla Goossen, UX Designer & Researcher bij ClickValue, een van de sponsoren van de DDMA Dutch CRO Awards 2021.

CRO bij Pearle en ClickValue

Pearle is een van de merken die onder GrandVision Benelux opereert, welke deel uitmaakt van de wereldwijde optiekketen GrandVision. Vanuit GrandVision Benelux bestaat er een e-commerce team dat werkzaamheden doet voor deze vier merken, legt Bijlsma uit. “Aan de achterkant is veel van de verschillende merken van GrandVision op dezelfde manier ingesteld en ingericht waardoor we de learnings die we opdoen bij het ene merk ook bij andere merken kunnen toepassen.”

ClickValue sluit aan bij GrandVision (Global) om alle landen zo goed mogelijk te helpen bij hun CRO programma’s, aldus Goossen. “Wij komen met elk land om de week samen om onze ideeën en die van de landen zelf door te spreken. Vervolgens kijken wij vanuit ClickValue of die plannen echt van waarde kunnen zijn voor het betreffende land, maar ook of die plannen in meerdere landen uitgevoerd kunnen worden. Als we iets internationaal willen uitrollen, testen we meestal eerst in 3 landen en vergelijken we de resultaten met elkaar, zodat we vanuit global een advies kunnen geven aan alle landen.”

CRO bij Pearle draait niet alleen om omzet, maar ook om service

Een belangrijke KPI die Pearle heeft is vanzelfsprekend omzet, maar dat is niet de enige belangrijke, vertelt Berber. “Naast omzet is ook het aantal mensen dat online een afspraak maakt, bijvoorbeeld voor een oogmeting, erg van belang. Want alleen met een recente oogmeting kunnen consumenten een bril of lenzen kopen. Het is dan ook een van de graadmeters waarop we baseren of we het goed doen of niet. Bovendien sturen we steeds meer op een omnichannel Pearle-ervaring. Het maakt dan niet zoveel uit of klanten online of offline een aankoop doen, zolang ze het maar bij ons doen. Daarnaast merken we dat het optimaliseren van service-gerichte onderdelen van de Pearle-website, bijvoorbeeld onze online oogtest, ook werkt voor het stimuleren van harde conversies. Je bedient de klant dus beter, én je maakt meer omzet. Echt een win-win situatie.”

Ook Goossen merkt op dat Pearle steeds meer afwijkt van het zo snel mogelijk sturen op harde conversies, en zich meer richt op het service-gedeelte van hun website. Goossen: “Het kan echt de moeite waard zijn om een gedeelte van je website te reserveren om service centraal te zetten en dit te optimaliseren door te onderzoeken hoe je dit ook in de e-commerce flow kan verwerken. Zo kun je mensen daadwerkelijk helpen om een keuze te maken. Misschien is niet iedere e-commerce partij hier geschikt voor, maar bij Pearle werpt het zeker zijn vruchten af wegens de complexiteit van de producten.”

CRO-programma’s hangen af van de maturity van een organisatie.

Hoe ClickValue CRO bij hun klanten aanpakt, is een kwestie van maturity, legt Goossen uit: “In het begin moet je draagvlak creëren. Dat kan heel simpel, door veel te testen, te evalueren en resultaten te bespreken. Je moet klanten echt bij de hand nemen en het proces samen met ze doorlopen. Dan krijg je iedereen vanzelf mee. Als organisaties iets meer mature zijn hebben wij vaak een meer kritische blik op de kans en werken we deze dieper uit om te bepalen of een test uitgevoerd moet worden. Door het bouwen van een dergelijke businesscase met een gedegen opportunity stel je jezelf in staat om te leren van een test en zo deze learnings voor vervolgtesten ook weer mee te nemen. Zo zorg je voor een cyclus die steeds blijft bijdragen aan de verdere optimalisatie van de website door diepere learnings.”

Bij Pearle heeft CRO inmiddels 4 jaar zijn plek gevonden, eerst lokaal, maar inmiddels binnen het wereldwijde programma in samenwerking met ClickValue, vertelt Berber.

CRO en cookies

Goossen ziet onder Clickvalue’s zusterlabels dat er op het gebied van datacollectie in relatie tot third-party cookies veranderingen aan zitten te komen. Goossen: “De manier waarop we data verzamelen gaat verschuiven, van client-side naar server-side. Dit zijn zeker opties om te verkennen zodat we nog steeds de data kunnen gebruiken om goed te kunnen testen. Ondanks eventuele veranderingen ben ik wel blij dat de discussie over cookies wordt gevoerd. Het schijnt licht op datacollectie en waarom we het precies doen. Als consumenten dit meer begrijpen en duidelijk wordt dat we ze niet zo individueel volgens zoals in het debat hierover vaak naar voren komt, zal men er begripvoller tegenover staan.”

De leukste A/B-testen: verrassende resultaten die verandering teweegbrengen

Als CRO-er doe je natuurlijk veel testen, waarvan een deel uitwijst dat er geen verschillen zijn of dat er vervolgonderzoek nodig is. Een test, waaruit een percentage rolt dat bevestigt dat een verandering écht doorgevoerd moet worden terwijl hier volop discussie over was, is dan ook het allerleukst, vindt Bijlsma. “De leukste testen vind ik vanzelfsprekend die de grootste verschillen aantonen.”

Goossen vindt testen met de meest verrassende resultaten het meest interessant. “Voor mij als researcher vind ik het spannend als een resultaat mij op het andere been zet. Zo hebben we ooit getest of een ‘sticky check-out button’ op de winkelwagenpagina, met een altijd zichtbare knop op de check-out cart, met de verwachting dat dit de volgende stap bereiken makkelijker zou maken. Niets bleek minder waar. Wat bleek: omdat de prijs ook mee scrollde, legden we juist de focus op hetgeen wat minder leuk is voor de bezoeker, wat dus nog niet direct voor een positief resultaat zorgde. We zagen echter wel een verandering in gedrag wat aangeeft dat de ‘sticky check-out button’ wel iets doet met de bezoeker. We gaan dus gewoon verder testen aan de hand van deze learning.”

Laat klanten een langer pad bewandelen en neem een online analist in dienst

De kortste route werpt de meeste vruchten af, is de klassieke aanname onder CRO-ers. Maar dit is niet helemaal waar. Goossen geeft als tip dat, zeker voor servicegerichte onderdelen van een website, de kortste route niet perse de beste is: “Het zoveel mogelijk limiteren van het aantal kliks dat bezoekers nodig hebben om een conversie te voltooien is niet altijd de beste manier. Want soms, als een onderdeel van een website wat meer leunt op service en informatievoorziening, kan het juist lonen om iemand bij de hand te nemen en een wat langer pad te laten bewandelen, in plaats van het zo snel mogelijk tonen van een button. Hier mogen we binnen de CRO-wereld echt wel wat meer aandacht aan besteden. Je helpt de klant namelijk beter.”

Tot slot benadrukt Bijlsma de waarde van de online analist, een functieprofiel dat je voor A/B-testen absoluut niet kan missen. Bijlsma: “Hoewel deze rol nog vaak wordt onderschat, worden we steeds belangrijker. Een online analist kan de pijnpunten herkennen in de route die consumenten afleggen en in kaart brengen waar ze precies afhaken.”

Berber Bijlsma is online analist bij GrandVision Benelux. Thecla Goossen is UX Designer & Researcher bij Clickvalue, een van de sponsoren van de DDMA Dutch CRO Awards 2021, die op 4 november worden uitgereikt in het Sieraad in Amsterdam.

Eén van de vier categorieën van de CRO Awards is acquisitie testing. Bij acquisitie gaat het erom een nieuwe klant op het juiste moment te laten converteren, vaak via email, display advertenties, social of zoekmachinemarketing. Wat is precies de link met conversie rate optimization (CRO) en waarom verdient acquisitie een eigen categorie bij de awards? Gerard Lindeboom van de DDMA Commissie CRO praat hierover met Alex Pepermans, paid search-expert bij iProspect en lid van de DDMA Commissie Search.

Net zoals de supermarkt
“Om te weten hoe je de digital performance kan optimaliseren moet je de consument begrijpen. Wat beweegt de consument? Om tot inzicht van consumentengedrag te komen gebruiken wij bestaande theorieën, aangevuld met eigen expertise. Met deze kennis kunnen we de platformen van onze klanten (met name websites en apps) optimaliseren. Het doel is uiteindelijk om meer omzet te genereren. Het optimaliseren van digital performance is eigenlijk hetzelfde als een supermarkt die aan category management doet. Producten op een zo optimaal mogelijke positie in de schappen neerleggen om een optimale verleiding te realiseren om de consumenten te ‘nudgen’.”

Knopjes draaien
“Als consument heb je altijd een keuze om voor een bepaald merk, product of dienst te gaan. Over hoe je deze keuze van de consument kan beïnvloeden zijn legio van theorieën geschreven. Maar in de praktijk is het vooral zo dat experts continu aan knopjes aan het draaien zijn in een zoektocht naar de beste resultaten. Door te kijken naar segmenten zoek je naar methodes, zoals de vaak genoemde persuasion-technieken van Cialdini. Onderdeel van deze persuasion-technieken zijn schaarste en autoriteit. Maar soms werkt humor of geruststelling in de advertentieteksten ook om de bewegingen van de consument te beïnvloeden.”

Onderste uit de kan
“Door segmenten te onderscheiden kunnen we optimaliseren. Segmenten zijn bijvoorbeeld: wel of geen klant, locatie van de consument, het type zoekopdracht, het apparaat waarop een consument zoekt (mobiel vs.desktop). Per segment wordt een zoekadvertentie geschreven. Deze tekst wordt continu een beetje bijgeschaafd om te zoeken naar welke tekst het beste converteert. Als consument zie je dit niet, je ziet maar een uiting. Dit is het enige contactmoment en daarin wordt bepaald of de consument verder gaat met de aanschaf van het product of de dienst. Als deze uiting dus niet aantrekkelijk of relevant is voor de consument, is al het werk voor niets geweest.”

Koploper verslaan
“Wij optimaliseren om zoveel mogelijk rendement uit de investering te halen. Bij veel klanten vertaalt zich dat in zoveel mogelijk kliks (of zoveel mogelijk aanvragen voor producten of diensten). Het doorklikpercentage is een van de factoren in het algoritme van Google die bepaalt hoe hoog je komt in de resultaten. Niet alleen de prijs is dus belangrijk voor een hogere ranking, ook je relevantie speelt een rol. Dit is een continu proces. Het is geen ‘set-it-and-forget it.’ We kijken steeds naar een nóg betere versie om de huidige koploper te verslaan.”

Voorbeelden uit de praktijk
“Segment klant/niet klant
Een bank wil nieuwe klanten werven door een beloning aan te bieden bij het openen van een spaarproduct. Bestaande klanten krijgen die beloning niet. Voor bestaande klanten is het storend als zij deze beloning als zoekresultaat zien. Door te segmenteren zorg je er dus voor dat zij een andere uiting zien.

Persoonlijke resultaten
Persoonlijke resultaten zijn vaak relevanter voor de bezoeker en hebben dus de voorkeur. Daarnaast stimuleert Google die door een korting te geven voor meer relevante uitingen voor de bezoeker.

Mens of machine
In de praktijk wordt wel eens gebruikt gemaakt van feed based advertising. Op basis van feed based advertising worden – aan de hand van productinformatie – automatisch teksten gegenereerd. Daardoor lijken advertenties van verschillende bedrijven soms op elkaar. Bij vliegtickets zijn bijvoorbeeld zoekresultaten vaak samengesteld uit dezelfde elementen, zoals “Amsterdam”, “Barcelona”, “prijs” en “boekingskosten”. Wij hebben in plaats daarvan meer aandacht gegeven aan elementen die de bestemming beschrijven, zoals “tapas”, “Gaudi” en “lekker strand”. Hierdoor komt een merk persoonlijker over. Het resultaat hiervan is een betere doorklikratio (CTR).”

Welkom
Ongeacht de audience wint een zoekresultaat met een specifiek welkom op merknaam vaak t.o.v. andere teksten. Dus stel iemand zoekt op merknaam “X” en de bezoeker wordt vervolgens welkom geheten met “Welkom bij X”, dan is de CTR hoger.”

Leren van elkaar
“Gelukkig besteden bedrijven de laatste jaren veel aandacht aan paid search. Voor mij is er op dit moment geen bedrijf dat er écht bovenuit springt. Ik denk dat het allerbelangrijkste is dat we allemaal blijven leren van elkaar, ook van concurrenten. Wij kunnen bijvoorbeeld zien welke teksten concurrenten gebruiken en doordat teksten vaak gewijzigd worden weten wij dat ze ook aan ad copy-testen doen. Een mooi voorbeeld: zoeken op “data scientist” gaf als resultaat “00101110100101001. Snap jij wat hier staat?” Hier zie je de kracht van humor, weten waar dit toe te passen en de kracht van een goede copywriter.”

Ideale organisatie
“Om te verbeteren moet je continu blijven testen, ABT: Always Be Testing. Testen begint bij brainstormen over teksten die zouden kunnen werken. Deze teksten moeten vervolgens op een gestructureerde manier getest worden. Om tot de beste versie te komen moet je steeds uitgedaagd worden met een nieuwe tekst. Hierbij moet voldoende in acht worden gehouden wat het product is, waar het om draait en wat de klant triggert. De testresultaten worden beter wanneer je een team met meerdere paid search experts, copywriters en productexperts laat samenwerken. Zij hebben elk hun expertise in het creëren van unieke aansprekende teksten. De combinatie met SEA-specialisten werkt ook goed.”

Over Alex
“Zeven jaar geleden ben ik begonnen als consultant in de Paid Search. Inmiddels ben ik nu hoofd PPC. PPC staat voor Pay-Per-Click, waarbij de adverteerder betaalt per klik op zijn advertentie. De adverteerder betaalt voor de plaats van je advertenties. Samen met collega’s geef ik leiding aan een team van ruim dertig professionals. De focus ligt op kennisoverdracht in het team en het onboarden van nieuwe medewerkers. Naast een paar vaste klanten, werk ik met name aan pitches voor nieuwe klanten. Hierbij werk ik samen met collega’s in het buitenland waar iProspect vestigingen heeft. “

Over iProspect
iProspect is onderdeel van het internationale Dentsu Aegis Network. Wij bouwen aan merken en ons streven is om oplossingen te bieden voor media en creatie. iProspect dekt één van de specialismen, de optimalisatie van digitale performance marketing.

Vandaag is een belangrijke dag voor de genomineerden van de Dutch CRO Awards 2019, want wie gaat er met de felbegeerde raket-award vandoor? Wij vroegen een aantal genomineerden om in een paar zinnen de ingezonden case uit te leggen én waarom zij vanavond moeten winnen.

Flinndal genomineerd in de categorie Acquisitie

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  Vanuit welk ‘frame’ benader je klanten die al een tijdje niets hebben gekocht? Kies je een positieve of negatieve invalshoek? Vertel je deze klanten wat ze nog allemaal kunnen ontdekken of leg je de nadruk op wat ze allemaal missen? En in hoeverre moet je de boodschap ‘contextualiseren’?  Op het moment van aankoop van Product X is het logisch om ook meteen product Y voor te stellen. Maar willen mensen na bijvoorbeeld een jaar nog steeds expliciet aan hun aanschaf van Product X worden herinnerd als je Product Y weer eens onder de aandacht wilt brengen? Flinndal besloot samen met Goodbyehello het effect van beide variabelen (‘framing’ en ‘contextualisatie’) te testen op een groep klanten die eerder een Vitamineproduct hadden gekocht.
• Waarom zou jouw case moeten winnen?
  ‘Win back’ is een beetje het ondergeschoven kindje van de marketing. Het stopt meestal na het mailtje met  ‘We missen je, hier heb je een code waarmee je 40% korting krijgt’. Wij willen met dit onderzoek, dat we hebben uitgevoerd in samenwerking met de Universiteit van Missouri, bijdragen aan de kennis over win back. En die is hard nodig want ieder E-commerce bedrijf krijgt vroeg of laat te maken met inactieve klanten. 

Schiphol genomineerd in de categorie Personalisatie

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  De passagier laten reizen met gemak, dat is ons doel. Dit proberen we te realiseren door de passagier zo goed mogelijk te informeren en adviseren over hun reis. De bezoeker op het juiste moment en op de juiste plek een boodschap tonen over de mogelijkheden van het reserveren van een parkeerplek, maar ook de kortingsvoucher die gebruikt kan worden op de luchthaven en over de Schiphol App dat is waar we steeds naar op zoek zijn. Relevant zijn dus. Het tonen van een parkeerbanner wanneer de passagier in de trein naar Schiphol zit heeft geen zin. Met dit experiment hebben we rekening gehouden met de vertrekdatum van de passagier en waar hij zich bevindt in de journey. Het doel van het experiment was om de boodschap van de propositie af te stemmen op het tijdstip voor vertrek. Aan de hand van data is bepaald wat de juiste plek is om de proposities te tonen en hoe lang voor vertrek. Na het berekenen van de tijd tot vertrek werden de homepage en de vluchtdetailpagina gepersonaliseerd met een relevante boodschap, afgestemd op het tijdstip voor vertrek. Komt de bezoeker dichter bij vertrek of heeft deze al een parkeerplek geboekt? Dan krijgt hij een andere boodschap te zien.
• Waarom zou jouw case moeten winnen?
  Elke gebruiker wilt een relevante boodschap zien, daarom hebben wij de gebruiker centraal gesteld. Zo zijn de keuzes in de voorbereiding van dit experiment volledig berust op data. Om een relevante boodschap te realiseren was een knap staaltje techniek nodig. Wanneer bezoekers op Schiphol.nl komen weten we niets van deze bezoeker. Daarom is op een creatieve en privacy bestendige manier de tijd tot vertrek berekend. Bijvoorbeeld, wanneer een bezoeker zijn inrijdatum voor een parkeerplek had ingevuld. Daarnaast kregen bezoekers nooit een boodschap te zien als zij al een reservering of download hadden afgerond aangezien historische web analytics data werd teruggestuurd via een API naar onze AB test tool. Uiteindelijk kregen bezoekers op verschillende plekken een relevante boodschap te zien. Gezien de resultaten wordt dit door de gebruikers gewaardeerd en dat is precies waar we het voor doen.

Transavia genomineerd in de categorie Personalisatie 

• • Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
    Bezoekers hebben, afhankelijk van hun boekingstadium, zeer verschillende behoeftes. Zo hebben we elke dag bezoekers die inspiratie op willen doen, een vlucht vergelijken, zoeken of boeken of service informatie opzoeken. Maar ook bezoekers die al geboekt hebben komen op onze website. Zo weten we dat men kort voor de vlucht voornamelijk komt om de actuele vluchtstatus op te halen en in te checken. Terwijl men tussen 30 uur en 90 dagen voor vertrek vaker de website bezoekt om ruimbagage of een stoel bij te boeken. Om deze bezoekers relevantere content te bieden hebben we voor hen de homepage aangepast. Wanneer de klant 30 uur voor vertrek op de website komt, kregen zij een nieuwe gepersonaliseerde homepage te zien, waarbij de focus ligt op online inchecken en het zien van de vlucht gegevens. We tonen een afbeelding van de bestemming en bieden een paar interessante producten aan zoals het reserveren van een parkeerplaats of het boeken van een activiteit op bestemming. Met deze test willen we relevanter zijn voor de klant, door in te spelen op de plek waar ze zijn in de klantreis.
  • Waarom zou jouw case moeten winnen?
    Transavia laat zien dat we de klant persoonlijk benaderen met de meest relevante aanbieding op het moment in de klantreis. Dit hoeft niet per se gelijk te leiden tot een hogere omzet. Met een aangepaste homepage weten meer klanten de weg te vinden naar het online inchecken, wat de user experience ten goede komt.

Transavia genomineerd in de categorie Conversie

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  In Google Analytics zagen we dat er regelmatig een verschil is binnen een boeking tussen het aantal passagiers met een vliegticket en het aantal passagiers waarvoor ook een stoel is gereserveerd. Het leek ons raar dat als je met 2 personen vliegt, je wel voor 1 persoon een stoel selecteert, maar niet voor de ander. Daarnaast zagen we in de data dat voor een retour vlucht ook vaker stoelen gereserveerd werden voor de heenvlucht dan voor de terugvlucht. Als men bereid is een stoel te selecteren voor de heenvlucht leek het voor ons logisch dat zij ook bereid zijn een stoel te selecteren voor de terugreis. Met deze informatie hebben we meerdere recordings bekeken om te zien wat het gedrag daadwerkelijk was op deze pagina. Hier kwamen mooie inzichten uit die we in deze case via 2 opeenvolgende A/B-testen hebben getest.
• Waarom zou jouw case moeten winnen?
  Door inzichten uit Google Analytics te koppelen aan kwalitatieve data hebben we een aantal duidelijke aanknopingspunten gevonden die het proces van het selecteren van een stoel ingewikkeld maakten. Door iteratief te testen hebben we het stoelselectie proces vergemakkelijkt, waardoor de klant een minder aantal handelingen hoeft te verrichten en wat tevens heeft geresulteerd in een hogere attach rate van stoelen tijdens de boeking.

Beerwulf genomineerd in de categorie Conversie

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  Bij Beerwulf.com verkopen we, naast flessen-, blikken-, en pakketten-bier, ook tapsystemen en de daarbijbehorende tapvaten. We zagen in onze orderdata dat veel klanten volle dozen van hetzelfde tapvat bestelden. Daarnaast zagen we in onze UX analytics tool Contentsquare dat een deel van de bezoekers veelvuldig (8 keer) op de add to cart button klikten, om zo tot een volle doos te komen. Om de gebruiksvriendelijkheid te vergroten hebben we in een AB test een extra button toegevoegd waarmee je in 1 klik een volle doos toe kan voegen. De test was zeer succesvol, en had een positief effect op het aantal transacties, de gemiddelde bestelwaarde, het aantal producten per bestelling, en de omzet per bezoeker. Daarnaast kunnen we de tijd die het kost om een pakket in te pakken in ons magazijn reduceren dankzij volledige bestellingen van 1 product, en zorgen de volle dozen ervoor dat wij geen lucht verschepen en de klant geen bezorgkosten hoeft te betalen.
• Waarom zou jouw case moeten winnen?
  Onze case moet winnen omdat we met deze case laten zien dat we wanneer we de klant centraal stellen, een win-win situatie kunnen creëren voor zowel de klant als Beerwulf! Voor de klant: extra gebruiksgemak en geen bezorgkosten door de volle doos. Voor Beerwulf: extra omzet en minder kosten voor het inpakken van de bestelling.

Condoom anoniem genomineerd in de categorie> Conversie

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  Dit hebben wij gedaan. Vraag je af: geven jouw proposities écht antwoord op de behoeften en vragen van je bezoekers? Vraag het ze om erachter te komen en luister! Combineer deze inzichten met andere inzichten uit kwantitatieve en kwalitatieve data. Zorg dat je oplossing zoveel mogelijk vanuit de gebruiker beredeneerd is! Bereik een impact van +10% transacties op basis van een html wijziging van 2 minuten.
• Waarom zou jouw case moeten winnen?
  Heeft 10% stijging in mobiele transactie opgeleverd.

Landal GreenParks genomineerd in de categorie Mobiel

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  Het CRO team van Landal GreenParks heeft zich ten doel gesteld de conversie van boekingen via Mobiel te optimaliseren. Ook bij het Landal is het verschil in conversieratio tussen Mobiel en Desktop groot en we willen dit verschil kleiner maken waar het volume op mobiel stijgt. Met behulp van Landal collega’s, onze partner We Are You, kwantitatieve en kwalitatieve data en onderzoeken, zijn er verschillende ideeën ontstaan over het verbeteren van de website. Op basis van deze informatie hebben we gekozen om de Shopping Cart te optimaliseren door hier in 1 test 16(!) ideeën te testen binnen 1,5 maand. Het resultaat is een aanzienlijke conversieverbetering op mobiel.
• Waarom zou jouw case moeten winnen?
  Dit is een unieke case omdat we binnen 1 test een complete metamorfose van onze winkelmand hebben gerealiseerd in slechts enkele maanden tijd. Dit uitzonderlijke resultaat was nooit gelukt zonder de inzet van het complete multidisciplinaire team dat heeft gezorgd voor data driven input, passend UX & design en een technisch hoogstaande uitvoering. We zijn enorm trots op deze case met een grote impact op de omzet en waarvan we bij Landal veel hebben geleerd. We delen onze ervaring graag zodat ook anderen hiervan kunnen profiteren.

New York Pizza genomineerd in de categorie Mobiel 

• Kun jij jullie case in een paar zinnen (max. 10) uitleggen?
  De case toont aan dat succesvolle conversie-optimalisatie niet kan zonder diepgaande research naar klantinteractie. De grote opbrengst in deze case komt eigenlijk door een eenvoudige aanpassing. Het is de research die duidelijk maakte dat juist deze aanpassing een kans verdiende in een experiment. De research maakte duidelijk wat het probleem was, hoe veel mensen er last van hadden en wat een kansrijke oplossing was. Daarna was het een kwestie van  testen van de oplossing en dat werd een groot succes.
• Waarom zou jouw case moeten winnen?
  Deze case verdient een CRO award omdat het laat zien dat een goed CRO proces leidt tot online rendement. Het succes van de case is niet het resultaat van een lucky shot of een goed idee, maar het is het gevolg van goed onderzoek binnen een organisatie die de klant centraal stelt.

 Volg #croawards19 op social media of houd deze pagina in de gaten om op de hoogte te blijven van de Dutch CRO Awards 2019!