Jak MyLead osiągnął 65% automatyzacji obsługi klienta zasilanej przez AI dzięki Softwise.AI

MyLead prowadzi globalną sieć marketingu afiliacyjnego, która łączy tysiące kampanii z wydawcami na całym świecie. Zespół obsługi klienta codziennie decyduje, czy dany wydawca powinien zostać dopuszczony do danej kampanii - zestawiając wymagania kampanii ze strategią marketingową wydawcy oraz uwzględniając język, grupę odbiorców i wymogi brand safety. To praca na dużych wolumenach, w której błędna decyzja niesie realne ryzyko - umieszczenie kampanii produktu dla dzieci na stronie dla dorosłych to błąd, który uderza zarówno w relację z reklamodawcą, jak i w markę.

Presja miała charakter strukturalny: duże dzienne wolumeny, wrażliwe decyzje wymagające uważnej oceny, sezonowe skoki ruchu, przychody tracone z każdą minutą oczekiwania wydawcy w kolejce i zespół, którego wdrożenie zajmowało tygodnie. W pełni ręczna obsługa ograniczała tempo, w jakim sieć mogła rosnąć.

Zadaniem Softwise.AI było szybko i konkretnie ustalić, jaką część tej pracy można odpowiedzialnie zautomatyzować - a następnie zbudować rozwiązanie.

{Kluczowe wyzwania}

Dlaczego ręczna akceptacja zgłoszeń nie nadążała za globalną siecią afiliacyjną?

Faza discovery ujawniła splot powiązanych ze sobą wyzwań operacyjnych, które ukształtowały zakres projektu:

• Duże dzienne wolumeny
  MyLead codziennie obsługuje tysiące kampanii i musi mieć pewność, że specyfikacja każdej z nich odpowiada strategii marketingowej opisanej przez wydawcę.

  
  

• Wrażliwość dopasowania kampanii do strony
  Reklamodawcy i wydawcy pochodzą z bardzo różnych segmentów na całym świecie - dlatego kluczowe jest, by określone kampanie (np. produktów dla dzieci) nie trafiały na nieodpowiednie strony (np. z treściami dla dorosłych).

  
  

• Sezonowość
  Wolumen zgłoszeń mocno się zmienia w zależności od pory dnia i roku, przez co utrzymywanie stałej obsady jest nieefektywne.

  
  

• Utracone przychody podczas oczekiwania
  Każda minuta, którą wydawca spędza w kolejce do kampanii, to minuta, w której nie zarabia ani on, ani MyLead.

  
  

• Błędy ludzkie i reklamacje
  Ręczne decyzje nieuchronnie prowadzą do pomyłek. Reklamacje to mniej zadowoleni wydawcy, dłuższe czasy oczekiwania i dodatkowa praca przy rozwiązywaniu problemów, którym automatyzacja mogłaby zapobiec.

  
  

• Powolne i kosztowne wdrażanie pracowników
  Nowe osoby potrzebują tygodni szkolenia, zanim zaczną pracować efektywnie - co podnosi koszty i wymusza ciągłą rekrutację.

{Proces}

Jak w 4 etapach zbudowaliśmy hybrydową automatyzację łączącą statystykę z GPT-4?

Softwise.AI zrealizowało projekt w czterech przejrzystych etapach, stawiając na szybką informację zwrotną dla MyLead - tak, aby firma mogła na każdym kroku podejmować świadome decyzje o zakresie prac i inwestycji.

1. Discovery - analiza miliona historycznych zgłoszeń

Faza discovery skupiła się na tym, czym MyLead już dysponował: około 1 000 000 historycznych zgłoszeń z etykietami akceptacji lub odrzucenia. Zespół pracował na celowo ograniczonej próbce 5000 rekordów - wystarczająco dużej, by ujawnić realne korelacje, wystarczająco małej, by dało się ją rzetelnie przeanalizować, i na tyle aktualnej, by uniknąć problemów z parametrami, których nie śledzono w starszych danych. Podczas warsztatów z MyLead dodawano nowe punkty danych w miarę pojawiania się korelacji. W analizie dominowały dwie grupy cech: dane zgłoszenia (scoring użytkownika, opis) oraz dane kampanii (wrażliwość reklamodawcy, ograniczenia).

2. Rozwiązanie statystyczne - tani i dokładny pierwszy filtr

Zanim sięgnęliśmy po LLM, zespół sprawdził, czy prostsze podejście statystyczne może przejąć część pracy. Wyłoniły się dwie wyraźne korelacje: scoring użytkownika poniżej 12 oraz kampanie oznaczone jako „wrażliwe" pozwoliły łącznie na automatyczne odrzucanie 23,4% wszystkich zgłoszeń z dokładnością ok. 94% - porównywalną z pracą człowieka, przy praktycznie zerowym koszcie LLM.

3. Rozwiązanie GPT - klasyfikacja rozumiejąca język w trudniejszych przypadkach

W pozostałych przypadkach zespół porównał kilka modeli językowych. GPT-3.5 wystarczyłby do pracy wyłącznie po angielsku, ale ok. 40 języków obsługiwanych przez MyLead (w Europie i Azji) wymagało wyższej wielojęzycznej dokładności GPT-4 - mimo że jest on około 10 razy droższy. Starannie zaprojektowany prompt przekazywał modelowi kryteria decyzyjne MyLead i wymuszał ustrukturyzowane odpowiedzi. Warstwa GPT-4 objęła automatycznym odrzucaniem kolejne ok. 23,5% zgłoszeń z dokładnością ok. 75% - poziomem, który MyLead zaakceptował, biorąc pod uwagę, że dane historyczne same zawierają ludzkie błędy i przypadki autentycznie graniczne.

4. Proof of concept, MVP i iteracje po wdrożeniu

Po fazie discovery zespół zweryfikował model na wydzielonym zbiorze testowym w środowisku przedprodukcyjnym, a następnie wdrożył MVP na produkcję. W ciągu ok. 3 miesięcy wyniki przekroczyły pierwotne szacunki: 65% łącznej automatyzacji - wyraźnie powyżej 43% prognozowanych po fazie discovery. Iteracje po uruchomieniu dodatkowo dopracowały system:

• Jakość - zmiany w promptach sprawiły, że model stał się mniej pobłażliwy i w razie niepewności domyślnie odrzuca zgłoszenie.

• Wyjaśnialność - dodano tryb diagnostyczny, dzięki któremu każda decyzja ma swoje uzasadnienie.

• Niezawodność - parametry temperature i Top_p dostrojono tak, by identyczne dane wejściowe zawsze dawały tę samą klasyfikację.