Xray Test Management for Jira – komplexný nástroj pre testovací tím

Zákazník potreboval nástroj pre menší tím (30 testerov), ktorý by mohol vykonávať manuálne testy, ale dôraz bol kladený na automatizované testy a jednoduchú integráciu so systémami CI.

Zákazník, ktorý vyvíja softvér, sa na nás obrátil s otázkou, aký nástroj by sme odporučili pre jeho testovací tím. Pretože zákazník už používal Jiru pre obchodné požiadavky a vývoj, zamerali sme sa na doplnky pre Atlassian.

Zákazník potreboval nástroj pre menší tím (30 testerov), v ktorom by mohol vykonávať manuálne testy, ale dôraz kládol na automatizované testy a jednoduchú integráciu so systémami CI. Z portfólia dostupných nástrojov sme si vybrali Xray vďaka jeho používateľsky prívetivému grafickému rozhraniu, mnohým integráciám s testovacími frameworkmi a tiež širokej škále nastavení.

Xray – stručný prehľad

Xray je zásuvný modul systému Jira určený pre správu testovacích tímov, riadenie testov, testovacích plánov a zaznamenávanie výsledkov testov. Xray je postavený na predpoklade, že čo je možné a má zmysel zaznamenať ako úlohu JIRA, má vytvorený typ úlohy. Vďaka tomu je možné mať vlastné nastavenie procesov pre úlohy, čo môže byť výhodou najmä pri návrhu a plánovaní testov. V základnom nastavení pracuje Xray s nasledujúcou sadou úloh:

• Test Set – balík testov, ktoré spolu súvisia.
• Test – samostatný test
• Pre-Condition – podmienka, ktorá musí byť splnená pred vykonaním testu
• Test Plan – plán, ktorý definuje sadu testov, ktoré majú byť vykonané pre určitú verziu
• Test Execution – konkrétne vykonanie testov a zaznamenanie výsledkov

Okrem týchto typov úloh môžeme v Xray pracovať s požiadavkami, ktorých implementáciu chceme otestovať. Prepojením úloh typu Požiadavka s Testami a Testov s úlohami typu Chyba je možné vytvárať mapy pokrytia, kde je možné vidieť, kto Bug/Test má vplyv na ktorú požiadavku.

Samotný systém Xray obsahuje rôzne pohľady na vykonávanie testov. Tvorca Xray, spoločnosť Xpand IT, dodáva tiež plugin Xporter, ktorý poskytuje možnosť reportovať testy tiež s možnosťou exportovať reporty do formátov .xlsx, .docx, .pdf, .docm, .dotm, .rtf, .odt, .svg, .png. V prípade, že spolu s Jirou používate zásuvný modul EazyBI, pridáva Xray do tohto zásuvného modulu preddefinované rozmery a namerané hodnoty.

Začíname s Xray

Než začneme vytvárať testy v Xray, musíme Xray nastaviť. Pretože Xray vie pracovať aj s prepojením s požiadavkami a úlohami s chybami, odporúča Xpand IT (tvorca Xray) vybrať si z nasledujúcich nastavení projektu:

1. Všetko v jednom projekte – v tomto režime sú systémové požiadavky vrátane implementačných úloh, testov a chýb v jednom projekte.
2. Oddeliť implementačný projekt od testovacieho projektu – v tomto režime sú implementačné veci: požiadavky, implementačné úlohy, chyby v „Implementačnom projekte“ a úlohy súvisiace s testovaním: testy, podmienky, sady testov, plány testov, vykonávanie testov v „Testovacom projekte„.
3. Špecializovaný projekt len pre testy – v tomto režime sú 3 projekty: implementačný projekt (požiadavky, implementačné úlohy), projekt s testami (testy, sady testov a podmienky) a projekt pre testovanie (plány testov, vykonávanie testov, chyby)
4. Úplné oddelenie – oproti „Špecializovanému projektu len pre testy“ je v tomto režime oddelené aj zaznamenávanie chýb do externého projektu.
5. Požiadavky v izolovanom systéme – toto nastavenie umožňuje napájať testy na požiadavky, ktoré sú zaznamenané v iných systémoch, ako sú: Enterprise Architect apod.

Po výbere a konfigurácii Xray a testovacieho projektu môžeme začať fázu návrhu testov.

Navrhovanie testov

Xray umožňuje zaznamenávať dva typy testov, manuálne a automatizované. Tieto testy je možné kombinovať do sad testov alebo od verzie 3.0 do testovacieho repozitára, kde je možné testy triediť do priečinkov. Testy alebo sady testov je možné prepojiť s požiadavkami, pričom stav pokrytia testov je možné zobraziť priamo na stránke požiadavky. Niektorí môžu oceniť možnosť pridávať vstupné podmienky pre testy spolu s ich opätovným použitím pre iné testy.

Manuálne testy sa skladajú zo zoznamu krokov, z ktorých každý sa skladá z popisu kroku, vstupných údajov a očakávaného výsledku. Kroky je možné prehodiť, odstrániť a pridať prílohy. Ďalšou výhodou je použitie formátovania značiek wiki pre popis testu aj popis krokov, údajov a požadovaných výsledkov.

Xray tiež umožňuje zaznamenávať automatizované testy. Špeciálnou kategóriou, na ktorej vývojár pracuje, sú testy Cucumber, kde je priama podpora skriptovania v systéme Jira s podporou zvýraznenia kľúčových slov jazyka Gherkin. Tieto testy je možné neskôr exportovať do súborov funkcií Cucumber, ktoré je možné spustiť v testovacom prostredí.

Ostatné automatizované testy je možné vytvárať v systéme Jira za predpokladu, že poznáme identifikátor testu v danom jazyku, alebo jednoduchším spôsobom – prvotným importom výsledkov testu do systému Jira. Xray potom každý ďalší import výsledkov daného testu prepojí s existujúcim testom.

Plánovanie testov

Plánovanie sa vykonáva vytvorením testovacích plánov spojených s testami alebo sadami testov, ktoré majú byť v pláne testované. Od verzie 3.0 je možné pri používaní úložiska testov používať zobrazenie plánovania. V tomto zobrazení je možné pridávať testy z úložiska a upravovať tak plán testov.

Spustenie testov

Aby sme mohli v Xray spustiť testovanie, musíme najprv vytvoriť úlohu Test Execution. Ak sme testovanie predtým naplánovali prostredníctvom testovacích plánov, je možné takúto úlohu vytvoriť priamo z plánu testov. Odkazy na testy obsiahnuté v pláne sa automaticky skopírujú do úlohy Test Execution. Ak sme testovanie neplánovali alebo potrebujeme vykonať testovanie mimo plánu, je možné túto úlohu vytvoriť priamo a pridať do nej požadované testy.

Vlastné vykonanie testov sa pri manuálnych testoch vykonáva na špeciálnej obrazovke, ktorá sa zobrazí po kliknutí na tlačidlo Spustiť test z úlohy Prevedenie testu. Na tejto obrazovke sa zobrazia informácie o práve vykonávanom teste s popisom testu, prípadnými vstupnými podmienkami a krokmi tohto testu. Tester má možnosť hlásiť chyby priamo z tejto obrazovky alebo po úspešnom vykonaní testu pokračovať ďalším testom priamo z tejto obrazovky.

Výsledky automatizovaných testov je možné importovať priamo do úlohy Prevedenie testu. Testy, ktoré sa nepodarilo spárovať s existujúcimi testami, sú automaticky vytvorené a priradené k danému Test Execution.

Report o výsledkoch

Xray obsahuje niekoľko miniaplikácií v systéme Jira, kde môžete sledovať priebeh testovania, ale obsahuje aj reporty súvisiace s testovaním, ako sú: Mapa pokrytia testov, Pokrytie testov v čase, Správa o pláne testov, Správa o prevedení testov a Správa o priebehu testov.

S čím vám môžeme pomôcť

Na začiatku je potrebné nastaviť Xray. K tomu sú nutné nasledujúce kroky:

1. Zbieranie a analýza požiadaviek na testovanie – ktoré projekty sa budú testovať, ako často, aké sú cykly vydania, aká je štruktúra testovacieho tímu atď.
2. identifikácia prístupov k testovaniu – každý typ projektu má svoje špecifiká, a preto obvykle existuje viac typov prístupov.
3. zjednotenie prístupov k testovaniu – z dôvodu zjednodušenia riadenia Xray je v tomto kroku pomerne dôležité redukovať typy prístupov na minimálny počet

Na základe týchto krokov môžeme nakonfigurovať Jiru a Xray tak, aby čo najviac vyhovovali požiadavkám klienta.

Pomáhame klientom integrovať sa so systémami CI, kde je možné dosiahnuť reportovanie výsledkov automatických testov priamo do systému Jira po dokončení zostavenia na CI.