Dar 2014 m. Žaidimų kūrėjas „Red Winter“ turėjo iš programų parduotuvės pasiimti savo populiariausio žaidimo „Dungelot“ tęsinį praėjus vos kelioms dienoms po pirmojo jo išleidimo. Priežastis? Žaidimas buvo apipintas klaidomis, ir jis buvo pakeistas iš „mokėk už vieną žaidimą amžinai“ modelio į „freemium“ modelį.
Daugelio šių problemų buvo galima išvengti, jei Raudonoji žiema laikytųsi nuodugnesnės beta testavimo strategijos. Tai ne tik mobiliesiems žaidimams, bet ir visoms programoms mobiliesiems.
Paleisdami programą, kuri yra per daug klaidinga arba kurioje yra daugeliui vartotojų nepopuliarios funkcijos, rizikuojate visam laikui pakenkti savo programos reputacijai. „Red Winter“ sugebėjo ištaisyti „Dungelot 2“ ir sėkmingai jį paleido po trijų mėnesių, tačiau nėra jokios garantijos, kad jūsų programa bus atkurta taip lengvai.
Programos beta versijos testavimas yra labai svarbus žingsnis prieš paleidžiant programą, nes tai gali išryškinti visas problemas:
Kokybė: galite būti tikri, kad sukūrėte kokybišką programą, tačiau tik tinkamai atlikę beta testavimą galėsite įsitikinti, kad visos funkcijos veikia taip, kaip joms yra skirta. Kokybė yra glaudžiai susijusi su kitu punktu,
Naudingumas: nuo vartotojo sąsajos iki vartotojo sąsajos. Tinkama naudoti programa yra intuityvi vartotojo sąsaja, kurioje vartotojai gali lengvai naršyti jūsų programą, rasti tai, ko nori, ir padaryti tai, ko tikisi su jūsų programa. Jūs žiūrite, kaip jie atlieka tam tikras funkcijas, ir matote, ar yra kokių nors būdų pagerinti srautą.
Klaidos: natūraliai būtumėte nuodugniai įsitikinę, kad programoje nėra klaidų, tačiau tol, kol ji nebus naudojama realiame scenarijuje, negalėsite būti tikri. Nuo rimtų klaidų, dėl kurių programa sugenda, iki smulkių klaidų, kurios atsiskleidžia tik esant tam tikroms sąlygoms.
Našumas: įrenginys, operacinė sistema ir net kitos programos gali turėti įtakos jūsų programos greičiui ir bendram našumui. Beta testavimas suteikia galimybę tai analizuoti autentiškiau nei jūsų pačių laboratorinius tyrimus.
Rinkodara: pradedant rinkodara iš lūpų į lūpas tarp bandytojų ir jų draugų, baigiant įžvalgomis apie idealią auditoriją, kurią atskleidė testuotojai, beta testavimas gali padėti formuoti rinkodaros strategiją prieš paleidimą.
Apsvarstę šiuos dalykus, jums bus sunku paneigti, kad beta testavimas gali nepaprastai padėti jūsų programai ir jos paleidimui. Be to, beta versijos testavimo nustatymas nėra sudėtingas procesas, turint daugybę įrankių. Kai kurie iš šių įrankių sutelkia dėmesį tik į vieną beta testavimo aspektą, o kiti bando pasiūlyti išsamesnį funkcijų rinkinį. Štai keletas geriausių.
UXCam
Diskusijos apie UI ir UX įėjo į 9-ojo dešimtmečio pabaigą, kai internetas tapo labiau prieinamas ir populiaresnis. Ir nors pirmosios mobiliosios programėlės galėjo tinkamai neišnaudoti UI ir UX - galų gale, tai buvo visiškai nauja sritis - dauguma didelių programų kūrėjų dabar turi atskirus skyrius, orientuotus tik į UI ir UX.
Griežtai tariant, „UXCam“ nėra beta testavimo įrankis. Ji integruojama į jūsų programą („iOS“ arba „Android“) pridedant dvi eilutes kodo, todėl galite apriboti jos naudojimą tikruoju beta versijos testavimu arba nuolat išleisti paskutinę programos versiją.
Kaip rodo pavadinimas, įrankis padeda įvertinti jūsų programos UX, ekrane įrašant visus vartotojo veiksmus programoje, įskaitant palietimo taškus ir gestus. Priežastis, kodėl to norėtumėte, yra ta, kad iš tikrųjų matyti, kaip vartotojai naudoja jūsų programą, yra daug įžvalgiau nei įprasti naudotojų atsiliepimai ir standartinė programų analizė.
Papildomos funkcijos apima šilumos žemėlapį - paryškina, su kuriomis ekrano sritimis vartotojai dažnai bendrauja ir kurias ignoruoja. Vartotojo srauto funkcija yra panaši į tą, kuri randama „Google Analytics“, ir parodo, kaip vartotojai naršo jūsų programą ir kur jie atsisako. Naudodami išmanųjį filtravimą, galite lengvai filtruoti įrašus pagal kriterijus, į kuriuos norite sutelkti dėmesį, pvz., Vartotojus, kurie naudoja jūsų programą nuo konkrečios datos, ar net naudojamų gestų skaičių.
„UXCam“ nėra įkyrus ir jūsų vartotojai apie tai net nesužinos. Tai kartu su tuo, kad tam nereikia vartotojo leidimo, gali kelti susirūpinimą dėl privatumo, tačiau „UXCam“ taiko griežtą politiką, pagal kurią reikalaujama užblokuoti visą neskelbtiną informaciją.
„UXCam“ planuose yra ribotas nemokamas planas, o „Pro“ planas (idealus mažoms įmonėms) prasideda nuo 199 USD per mėnesį.
„UserTesting“
Iš pirmo žvilgsnio „UserTesting“ yra labai panašus į „UXCam“. Tai suteikia jums prieigą prie vaizdo įrašų (ir garso įrašų) iš realių naudotojų, sąveikaujančių su jūsų programa. Tačiau, skirtingai nei „UXCam“, „UserTesting“ atrodo labiau kaip beta testavimo įrankis, nes jį galima naudoti bet kuriame jūsų kūrimo ciklo etape, o jūs nurodote, kurias užduotis norite išbandyti. Taigi, užuot matę, kaip vartotojai sąveikauja su visa jūsų programa, galite labiau susitelkti ties konkrečiomis programos skiltimis ir konkrečiomis užduotimis.
„UserTesting“ suteikia ne tik vaizdo įrašą apie atliktus veiksmus, bet ir naudotojų, diskutuojančių apie jūsų programą, garsą. Be to, galite pateikti vartotojams keletą klausimų ir priversti juos įvertinti tam tikras funkcijas. Rezultatai pasiekiami per valandą nuo kiekvieno bandymo atlikimo.
Nors naudojate bandytojus iš „UserTesting“ naudotojų grupės, galite nurodyti naudotojo tipą, pagal kurį taikote - nuo regiono iki žiniatinklio ir kitų svarbiausių demografinių rodiklių. Naujų testų atlikimas yra toks pat paprastas, kaip įkelti programą į „UserTesting“ platformą - nereikia SDK integracijos - ir tada sukurti bandymo parametrus.
Ir jei vis dar nežinote beta versijos testavimo, „UserTesting“ svetainėje yra daugybė išteklių, įskaitant patogius kontrolinius sąrašus, kuriuos galite sekti. Individualaus plano visiškai pakanka nepriklausomiems kūrėjams ir mažoms įmonėms, o „Enterprise“ planas siūlo pažangesnes funkcijas.
99 bandymai
„99tests“ yra reklamuojamas kaip masinių bandymų platforma. Tai reiškia, kad jūs, kaip ir „UserTesting“, nurodote auditorijos tipą - pagrindinius demografinius rodiklius, įrenginio tipą, vietą ir kt., O 99 bandymai suranda jums tinkamiausius testuotojus.
Kaip ir naudojant kitus testavimo įrankius, siūlomas tinkamumo testavimas, tačiau „99tests“ taip pat siūlo lokalizavimo, tiriamuosius ir saugumo testus. Lokalizavimo testavimas yra jūsų programos testavimas tarp naudotojų tose vietose, kuriose bus galima naudoti jūsų programą, atsižvelgiant į tai, kaip vietos vartotojai reaguoja į dizainą ir pan. Daugeliu bandymų atvejų vartotojai raginami atlikti tam tikrus veiksmus ir eiti iš anksto nustatytu keliu per jūsų programą. , tačiau tiriamieji bandymai suteikia galimybę išbandyti jūsų programą be apribojimų. Jūs turite išankstinę idėją, kaip norite, kad vartotojai sąveikautų su jūsų programa, bet iš tikrųjų nežinote, ar jie tai darys. Tiriamasis testavimas gali padėti nustatyti problemas, kurios pasireiškia tik tada, kai programa nenaudojama taip, kaip ją kuriate.
Be abejo, saugumo testavimas yra labai svarbus, jei jūsų programai reikia registracijos arba vartotojams suteikiama galimybė įvesti neskelbtiną informaciją. Duomenų nutekėjimas yra košmaras, kurį reikia valdyti net ir didelėms korporacijoms.
Kita funkcija, išskirianti 99 testus, yra ta, kad testavime yra automatikos elementas. Tikimasi, kad sudarysite kiekvieno testo etapo bandymų planą, tačiau 99 testų testuotojai gali sukurti savo bandymų atvejus su automatizuotais scenarijais, leidžiančiais per labai trumpą laiką išbandyti dešimtis skirtingų scenarijų. Kadangi „99tests“ integruojamas su daugeliu populiarių klaidų stebėjimo įrankių, užregistruotų klaidų sekimas tvarkomas per vieną informacijos suvestinę, o programų greiderių balas padeda sekti programų kokybę po kiekvieno testo.
Automatizavimo, rizikos padengimo ir įmonės testavimo kainos yra prieinamos paprašius, o greitas „bug bash“ planas prasideda nuo 500 USD. Daugelis bandymų atliekami per mėnesį, o sudėtingoms programoms reikia 2–3 mėnesių.
„TestFairy“
„TestFairy“ yra dar vienas beta versijos testavimo įrankis, teikiantis vaizdo įrašą apie tai, ką vartotojai daro su jūsų programa. Tačiau „TestFairy“ nesuteikia jums lengvo priėjimo prie bandytojų grupės ir tikimasi, kad pasirinksite savo bandytojus. Svarstant beta testavimo įrankius, tai neturėtų būti sandorio nutraukėjas, tačiau tai reiškia, kad prieš registruodamiesi į „TestFairy“ turėtumėte turėti „testerių įdarbinimo“ planą, jei dar neturite savo bandytojų grupės. Šeimos ir draugų naudojimas yra gera pradžia, tačiau tik tuo atveju, jei jie atitinka jūsų numatytos auditorijos demografinius rodiklius. Norite įvairių testuotojų, galinčių išbandyti jūsų programą skirtinguose įrenginiuose ir skirtingose realiose situacijose, pavyzdžiui, naudojant „WiFi“ ir mobiliuosius duomenis, grupę.
„TestFairy“ palaiko tiek vietinių programų, tiek programų, sukurtų naudojant tokias platformas kaip „Adobe Air“, „Unity“ ir kt., Testavimą. Ir jei jūsų bandymų planas yra skirtas klaidų paieškai ir šalinimui, su malonumu žinosite, kad „TestFairy“ integruojasi su kelios populiariausios klaidų stebėjimo paslaugos. Jūsų vartotojai turi pakratyti tik savo prietaisą, kad iškviestų pranešimo apie klaidas formą!
„TestFairy“ taip pat puikiai žino, koks fragmentiškas yra mobilusis pasaulis, todėl jie suteikia galimybę pamatyti, kaip jūsų programa atrodo daugiau nei 10 000 įrenginių. Tai skamba alinančiai, tačiau jei bandote įsitikinti, kad jūsų programa puikiai veikia kuo didesnei auditorijai, reikia paaukoti nedidelę auką.
„TestFairy“ planai pradedami nemokamai (kaip ir 100% nemokamai), todėl tai yra idealus sprendimas riboto biudžeto SMB. Jei jūsų programoje dirba didelė komanda, galite apsvarstyti jų paleidimo ir įmonės planus.
„HockeyApp“
Galutinis įrankis šiame geriausių beta versijos bandymų įrankių rinkinyje yra tas, kuris siūlo ne tik testavimo įrankį. „HockeyApp“ siūlo standartines funkcijas, kurių galite tikėtis naudodamiesi beta testavimo įrankiu, tačiau jos taip pat apima vartotojo metriką. „HockeyApp“ naudotojų metrika apima viską: nuo aktyvių vartotojų skaičiaus ir įtraukimo iki informacijos apie įrenginius, kuriuose jūsų programa užstrigo per pastarąsias 30 dienų. Ši paskutinė metrika gali būti gana vertinga, padedama atskirti klaidas, turinčias įtakos visiems vartotojams, ir tas, kurios veikia konkrečių įrenginių vartotojus.
Kaip ir „TestFairy“, „HockeyApp“ gali būti naudojamas tiek vietinėms programoms, tiek programoms, sukurtoms naudojant kitas platformas. Nors visos avarijos ataskaitos pagal numatytuosius nustatymus siunčiamos tiesiai į „HockeyApp“ platformą, jas taip pat galite tiesiogiai integruoti į pageidaujamą klaidų stebėjimo platformą. Komandos nariai gali bendrauti tik „HockeyApp“ informacijos suvestinėje arba integruoti į „Slack“ ir „HipChat“.
„HockeyApp“ įsigijo „Microsoft“ 2014 m., Tačiau tai neturi įtakos jūsų gebėjimui išbandyti tiek „iOS“, tiek „Android“ programas, o visa platforma yra užsiėmusi perėjimu į „Visual Studio Mobile Center“, prie kurio naujieji vartotojai jau gali užsiregistruoti, kad galėtų prieiti prie jų. . Vėlgi, kaip ir su kitais čia aptartais įrankiais, „HockeyApp“ integruoti į savo programą yra gana paprasta, o SDK galima integruoti rankiniu būdu arba naudojant vieną iš „HockeyApp“ teikiamų kliento programų.
„HockeyApp“ kainodara taip pat yra gana paprasta. Kūrėjai, turintys mažiau nei 10 programų, gali naudotis paslauga nemokamai, kiekvienai programai turi neribotą skaičių bandytojų. Kainos po to nustatomos pagal jūsų turimų programų skaičių, planuojant nuo 15 USD iki 30 USD per mėnesį.
Žaidžia abi mobiliosios tvoros pusės
Yra daugybė įrankių, skirtų jūsų mobiliajai programai išbandyti beta versijoje, tačiau aš jas pasirinkau, nes jos visos palaiko „iOS“ ir „Android“ programų testavimą. Pirmosiomis mobiliosios ekosistemos dienomis buvo galima nukreipti tik į „iOS“ ar „Android“, tačiau tai nebėra perspektyvu. Nors „Android“ turi reikšmingą pranašumą prieš „iOS“, dėmesys vienai operacinei sistemai vis tiek riboja jūsų pasiekiamumą. Be to, šiame įrankių pasirinkime yra parinkčių kūrėjams, norintiems sutelkti dėmesį tik į savo UX testavimą, ir tiems, kurie ieško išsamesnio testavimo rinkinio.
Nepaisant galimo auditorijos dydžio, programos atidarymas beta versijos testavimui neturėtų būti dalykas, kurį turėtumėte apgalvoti. Jūsų klientams patiks labiau nugludintas produktas, o jums patiks lojalesni vartotojai.
