„Product/market fit zawsze się czuje, kiedy się wydarza”, napisał Marc Andreessen w czerwcu 2007 roku. Klienci kupują tak szybko, jak nadążasz produkować. Pieniądze się piętrzą. Zatrudniasz w pośpiechu. A kiedy się nie wydarza, dodał, to też zawsze się czuje.
To wspaniałe zdanie i zupełnie nieprzydatne założycielowi, który nie ma pewności. Większość jej nie ma. Mają trochę klientów, z których część wygląda na zadowolonych, i wykres wzrostu, który można czytać tak albo inaczej. Chcieliby mieć termometr.
Dał im go marketer Sean Ellis. Składa się z jednego pytania i jednego progu zaliczenia, i od piętnastu lat jest tym, co w świecie startupów najbardziej przypomina oficjalny test. Zasługuje na uważniejsze spojrzenie, niż zwykle dostaje, bo liczba, którą daje, jest w nim najmniej cenna.
Uczucie z liczbą
Pytanie brzmi: „Jak byś się czuł, gdybyś nie mógł już korzystać z produktu?”. Do wyboru są trzy odpowiedzi. Bardzo rozczarowany, trochę rozczarowany, nierozczarowany.
Ellis zadał to pytanie użytkownikom prawie stu startupów i szukał prawidłowości. Znalazł ją. Jak opowiada Rahul Vohra, założyciel Superhuman, firmy tworzącej program do e-maili, „magiczną liczbą było 40%”. Firmy, którym trudno było rosnąć, prawie zawsze miały mniej niż 40% użytkowników wybierających „bardzo rozczarowany”. Firmy, które nabrały rozpędu, prawie zawsze miały więcej.
Test jest sławny dzięki historii samego Vohry. Latem 2017 roku Superhuman zadał to pytanie swoim użytkownikom i 22% powiedziało, że byliby bardzo rozczarowani. Trzy kwartały później było to 58%. Wcześniejszy głośny wynik należy do Slacka. W 2015 roku przedsiębiorca Hiten Shah przebadał 731 użytkowników Slacka i 51% powiedziało, że byliby bardzo rozczarowani, gdyby go stracili.
Jest więc pytanie, próg i zestaw historii sukcesu. Natomiast pod spodem, jeśli się przyjrzeć, nie ma zbyt wiele. Ellis opisał ten próg jako „trochę arbitralny”, linię, którą wyznaczył po porównaniu tych mniej więcej stu firm. To obserwacja dotycząca startupów, które już urosły albo którym się nie udało. Nie znaleźliśmy żadnego opublikowanego testu, który sprawdzałby, czy wynik przewiduje, co stanie się potem.
Kogo zapytano
Pierwsza rzecz, która zniekształca liczbę, to lista gości.
Spójrz jeszcze raz na Superhuman. Wynik nie wzrósł z 22% do 58% wyłącznie dzięki pracy nad produktem. Pierwszy skok wziął się z decyzji, kogo liczyć. Zespół Vohry sprawdził, kim byli bardzo rozczarowani użytkownicy, głównie założyciele, menedżerowie, dyrektorzy i ludzie z rozwoju biznesu, i przeliczył wynik tylko dla tego rodzaju klientów. Wzrósł do 33%. W produkcie nie zmieniła się ani linijka kodu. Zmienił się mianownik.
To uprawnione i Vohra mówi o tym otwarcie. Pokazuje jednak, ile jest tu luzu. Liczba Slacka jest równie miękka. 731 respondentów Shaha trafiło do ankiety przez jego tweet, jego e-maile i wiadomości, listę mailingową znajomego i każdego, kto podał link dalej. Ludzie, którzy odpowiadają na ankietę nieznajomego o Slacku, nie są przekrojem ludzi, którzy ze Slacka korzystają.
Każda wersja ankiety ma też wbudowany cichszy filtr. Pytanie można zadać tylko tym, którzy wciąż są. Ci, którzy wypróbowali produkt i odeszli, a więc mieliby najwięcej do powiedzenia o dopasowaniu, nie są na liście. Przyglądamy się temu w tekście o błędzie przeżywalności w opiniach klientów.
Do tego dochodzi zwykła arytmetyka. Vohra sugeruje, że około 40 odpowiedzi wystarczy, by wynik był przydatny „kierunkowo”, a Superhuman miał do przepytania zaledwie 100 do 200 użytkowników. Przy 40 odpowiedziach wynik 40% ma margines błędu około 15 punktów w każdą stronę. Prawdziwa wartość może wynosić 25%, co oznacza porażkę, albo 55%, co oznacza triumf. Rachunki znajdziesz w naszym poradniku o wielkości próby w ankiecie. W skali, w jakiej większość startupów prowadzi tę ankietę, próg zaliczenia mieści się głęboko w szumie.
Czy byłbyś rozczarowany?
Druga trudność to samo pytanie. Nie pyta, co ludzie zrobili. Prosi, żeby wyobrazili sobie stratę i przewidzieli własne uczucia.
Ludzie nie są w tym dobrzy. Psychologowie badający takie prognozy mają nazwę na typowy błąd, impact bias: przeceniamy siłę i trwałość uczuć, jakie wywołają w nas przyszłe wydarzenia. Strata wydaje się ogromna, kiedy ją sobie wyobrażamy. Potem następuje, a my przyzwyczajamy się sporo szybciej, niż sądziliśmy.
Autor i przedsiębiorca Justin Jackson opisał to doświadczenie od strony klienta. Był pewien, że będzie mu przykro, kiedy Microsoft zamknie aplikację kalendarza, której używał, Sunrise. Potem ją zamknięto, przeszedł na inny kalendarz i „wszelkie poczucie rozczarowania zniknęło dość szybko”. W każdej ankiecie zaznaczyłby „bardzo rozczarowany”.
To krewny rozdźwięku między deklaracjami a działaniem. Klient, który mówi, że byłby bardzo rozczarowany, mówi coś prawdziwego o tym, jak odbiera produkt dzisiaj. Nie jest to obietnica, że zostanie, a tym bardziej, że zapłaci.
Do czego ankieta się przydaje
Nic z tego nie robi z ankiety zmarnowanego e-maila. Oznacza tylko, że wynik zbierał uwagę, która należała się reszcie.
Superhuman zadawał cztery pytania, nie jedno. Po tym słynnym szły trzy kolejne: jakim ludziom Twoim zdaniem produkt przydałby się najbardziej? Jaka jest główna korzyść, którą z niego masz? I jak możemy go dla Ciebie ulepszyć? Zespół nie czytał też odpowiedzi hurtem. Sortował je według pierwszego pytania.
Grupę „nierozczarowanych” odłożono całkiem na bok. Tych ludzi nie dało się zdobyć, a budowanie dla nich odciągnęłoby produkt od tych, którzy go kochali. Grupa „bardzo rozczarowanych” powiedziała zespołowi, do czego produkt służy: w ich przypadku chodziło o szybkość. Ciekawa grupa była pośrodku. Spośród „trochę rozczarowanych” zespół zostawił tylko tych, którzy także wskazali szybkość jako główną korzyść, i to ich prośby trafiły na roadmapę. Chcieli tego samego co entuzjaści, ale coś ich powstrzymywało.
Tak widziana ankieta jest narzędziem do sortowania. Mówi, czyje opinie brać pod uwagę, a czyje pominąć. To najtrudniejsze pytanie przy ustalaniu priorytetów próśb o funkcje, a stos nieposortowanych komentarzy na nie nie odpowie.
Kilka nawyków czyni ją uczciwszą. Wysyłaj ją tylko do osób, które niedawno korzystały z sedna produktu, bo nikt nie jest rozczarowany utratą czegoś, czego nigdy nie otwiera. Podawaj obok wyniku liczbę odpowiedzi i przedział, w którym wynik może się mieścić. Zachowuj tę samą grupę odbiorców i to samo brzmienie pytania w kolejnych rundach, żeby wzrost coś znaczył. I zestawiaj rezultat z tym, co ludzie robią. Jeśli 45% mówi, że byliby bardzo rozczarowani, a połowa z nich nie logowała się od miesiąca, wierz logowaniom.
Przede wszystkim pytaj dlaczego. „Bardzo rozczarowany” to dwa słowa. Klient, który je wybrał, zwykle potrafi powiedzieć, do czego musiałby wrócić, i ta odpowiedź, arkusz kalkulacyjny, konkurent albo dwie godziny w każdy piątek, jest prawdziwym opisem Twojego rynku.
Andreessen miał zapewne rację, że product-market fit się czuje, kiedy się wydarza. Ankieta nie dostarczy tego uczucia, a założyciel, który potrzebuje czterdziestu klientów, żeby się dowiedzieć, czy go ma, być może już podejrzewa odpowiedź. Ale to uczucie, kiedy przyjdzie, nie powie Ci, komu je zawdzięczasz ani czego ci ludzie chcą dalej. O to nadal trzeba zapytać.
Jak pomaga Diaform
Diaform zadaje pytanie o product-market fit w krótkim czacie, a potem pyta dlaczego. Ankieter AI dopytuje o niejasne odpowiedzi tak długo, jak na to pozwolisz, więc „bardzo rozczarowany” przychodzi razem z tym, co klient zrobiłby bez Ciebie. Każda rozmowa dostaje podsumowanie z dosłownymi cytatami, a raporty AI grupują powody według tematów. Nie rozstrzygnie, czy masz product-market fit, a mała próba pozostaje małą próbą. Dostępny jest 14-dniowy darmowy okres próbny.
