výběr správných metrik testování softwaru

metrika testování softwaru je kritériem pro sledování účinnosti úsilí o zajištění kvality. Nejprve stanovíte ukazatele úspěchu v celé fázi plánování. Poté je porovnejte s přijatou metrikou po dokončení procesu.

mnoho softwarových QA a zkušebních odborníků se však zaměřuje spíše na to, jak budou testy provedeny, než na skutečné informace získané testy. Tím myslím, že testeři se často zaměřují na pouhou spokojenost s dokončením všech testů. Ale je to vždy dobrá věc? Můžete mít 100% úspěšnost se všemi zelenými indikátory na palubní desce a je stále možné, že vaše testy nejsou dostatečně silné.

tento článek pojednává o pěti metrikách testování softwaru, které by mohly pomoci profesionálům QA při hodnocení jejich úspěchu.

charakteristika “dobré” testovací metriky

promluvme si o vlastnostech, které by metrika měla v ideálním případě mít.

relevantní pro obchodní cíle

kritické KPI by měly odrážet primární poslání a účel podnikání; například měsíční růst příjmů nebo počet nových uživatelů. Každá společnost si vybírá své metriky na základě toho, čeho hodlá se svým produktem dosáhnout. I když se může zdát atraktivní uspět ve všech testech, zaměření na špatné cíle může klamat. To může ovlivnit práci aplikace a celý komplexní systém, jako je bezhlavá Obchodní Architektura.

umožňuje růst

každá metrika by měla umožnit zlepšení. Co když jste dosáhli 100% úspěšnosti? Cílem může být udržet metriku na této úrovni nebo ji dále vylepšit.

podporuje rozvoj strategie

když metrika dává týmu cíl, motivuje je také klást otázky k vypracování plánu. Předpokládejme, že potřebujete zvýšit příjmy. Zvažte, zda produkt vyžaduje nové funkce, které podporují další nákupy. Je nutné vytvořit nový akviziční kanál? Spustil konkurent nějaké nové produkty nebo funkce, které přitahují nové kupce?

Trackable a srozumitelné

dobré metriky jsou jednoduché pochopit a následovat. Jak jinak budou lidé, kteří je shromažďují, činit informovaná rozhodnutí? Zaměstnanci musí pochopit, co mohou udělat pro zlepšení výsledku.

tři tipy pro výběr a měření metrik testování softwaru

začněte kladením otázek

vaše otázky by se měly týkat tří témat:
1. Co měříte
2. Strategie a nástroje pro jeho měření
3. Důvody pro jeho sledování

Chcete-li se vyhnout analýze zbytečných metrik, věnujte pozornost procesu definice metrik. Někdy malý počet nevyřízených chyb znamená, že váš tým QA dělá svou práci. Když však tyto chyby rozdělíte na problémy s vysokou/střední / nízkou prioritou, budete moci lépe vidět celkovou kvalitu programu a provést potřebné úpravy.

nezanedbávejte automatizaci při výpočtu metrik QA

automatizace vám ušetří čas při ručním sběru dat a pomůže zajistit, aby vaše metriky byly vždy relevantní. Předpokládejme, že používáte Jiru. Nastavte požadavek Jira Query Language (JQL) na stránce Confluence, pokud potřebujete údaje o kritických chybách při každém sprintu. Bude často aktualizován. Nebo můžete použít jiné nástroje založené na preferovaném systému pro správu testů/sledování úkolů.

Sbírejte komentáře a postupně vylepšujte metriky

Jakmile nastavíte a shromáždíte všechny metriky, začnou procesy zpětné vazby a zlepšování. Věnujte pozornost zpětné vazbě, abyste zlepšili efektivitu a přehlednost svých metrik a sestav.

pět metrik testování softwaru pro sledování

nyní se podívejme na některé konkrétní příklady. Všimněte si, že různé aspekty kvality záleží v různé míře v závislosti na okolnostech.

spokojenost uživatelů

zde budete chtít vidět reakci klienta na produkt. Používáte průzkumy spokojenosti uživatelů a tickety podpory, které odhalují chyby. Pokud tyto metriky kvality sledujete a pracujete na jejich zlepšení, podnikání poroste, protože uvidíte spokojenější a vracející se zákazníky. Pokud je něco špatně, budete muset provést analýzu kauzálních problémů a odstranit zátarasy.

metriky procesů

Jedná se o interní měření, která mají významný dopad na kvalitu vašeho produktu. Můžete například sledovat dodací lhůtu a čas potřebný mezi nastavením úkolu a nasazením a výrobou kódu.

další metrikou, kterou můžete použít, je doba cyklu. To znamená, že čas na vybudování funkce poté, co dostal souhlas začít pracovat na něm. Nakonec můžete sledovat čas potřebný k vyřešení potíží. To by mohlo odkazovat na rychlost řešení tiketů nebo chyb, jakmile budou nahlášeny.

protože tyto metriky lze těžko měřit, další metodou ke zlepšení efektivity procesu je zjištění, kde se nedokončená práce začíná hromadit ve frontě. Může zvýraznit překážku, která, pokud bude odstraněna, může pomoci vašim týmům zvýšit produktivitu.

metriky pokrytí

dalším ukazatelem kvality testu je pokrytí testu. Informuje nás o množství testovaného kódu. Je to způsob, jak zajistit, aby vaše testy zkontrolovaly kód a kolik fungují. V tomto případě je lepší použít strategii shora dolů. Prvním krokem je analýza pokrytí modulů. Pak zvážíte funkčnost a nakonec pokrytí dat v každé funkčnosti. To znamená, kolik různých kombinací potenciálních datových vstupů pokrýváte testy.

tato skupina zahrnuje takové metriky jako:
● procento pokrytí požadavků
● pokrytí Unit test
● pokrytí manuálním nebo průzkumným testem
● testovací případy podle kategorie požadavků
● pokrytí UI testem
● pokrytí integrací a testováním API

metriky kvality kódu

hodnocení kvality kódu znamená kategorizaci hodnoty kódu do dvou kategorií: dobré a špatné. Neexistuje jediný pojem kvality, protože prakticky každý vývojář definuje pro sebe to, co představuje dobrý kód. Jak můžete posoudit kvalitu kódu? Nástroje jako SonarQube vám umožní odhalit, kolik technického dluhu je v systému. Budete muset klasifikovat problémy a zranitelnosti, uspořádat je podle priority a vybrat, na co se budete soustředit.

metriky chyb nebo incidentů

každý problém se liší závažností,takže nedávejte všem problémům stejnou váhu. Některé problémy jsou jednoduše návrhy na zlepšení. Určete, které komponenty kvality jsou pro vaši společnost důležitější než jiné. To znamená, že při analýze metrik, které použijete, překračujte pouze množství defektů.

co můžete extrahovat ze zpráv o incidentech? Tyto výsledky mohou zahrnovat:

● celkový počet chyb
● otevřené vady
● uzavřené vady
● čas na uzavření každé zprávy o incidentu
● změny od posledního vydání

pravidla pro měření metrik testování softwaru

vyhodnocení metrik v testování softwaru a odhad jejich úspěchu může být frustrující a vágní. Zde je několik tipů a návrhů, které můžete použít:

1. Porovnejte své metriky s cíli projektu, procesu a produktu. Mějte na paměti, že jediný indikátor nestačí k úplnému zobrazení kvality softwaru.
2. Sledujte průběh (nebo regres) v průběhu času. Zjednodušte proces sběru dat automatizací, ukládejte data do spolupracujícího zdroje, jako je Wiki / Confluence, a pravidelně kontrolujte výsledky.
3. Nahlaste statistiky zákazníkovi a týmu, abyste ukázali svůj pokrok. Zprávy by měly být snadno pochopitelné, takže je užitečné a uživatelsky přívětivé.
4. Zkontrolujte, zda jsou metriky platné. Sledování irelevantních metrik a zobrazování nepřesných dat je vyloučeno.

měření je důležitou činností při testování softwaru, jako je stanovení počtu úspěšných testů proti tomu, kolik selhalo. Všechny informace, které získáte, přicházejí zainteresovaným stranám. V důsledku toho mohou činit informovaná rozhodnutí, například kdy vydat aplikaci.

jak můžete sledovat své testovací aktivity? Musíte určit příslušné metriky testování softwaru. Výběr správných metrik testování může být obtížný. Týmy často volí metriky, které nejsou synchronizovány s celkovým obchodem.

co může způsobit nedostatek odpovídajících referenčních hodnot? Zúčastněné strany nedokážou měřit pokrok, identifikovat možnosti vývoje nebo kontrolovat, která testovací taktika má nejpozitivnější dopad. Všechny věci zváženy, týmy QA musí sledovat individuální pokrok, úroveň dovedností, a úspěch, stejně jako kvalita kódu, chyby, a pokrytí.