Xray Test Management for Jira – komplexní nástroj pro testovací tým

Zákazník potřeboval nástroj pro menší tým (30 testerů), který by mohl provádět manuální testy, ale důraz byl kladen na automatizované testy a snadnou integraci se systémy CI.

Zákazník, který vyvíjí software, se na nás obrátil s dotazem, jaký nástroj bychom doporučili pro jeho testovací tým. Protože zákazník již používal Jiru pro obchodní požadavky a vývoj, zaměřili jsme se na doplňky pro Atlassian.

Zákazník potřeboval nástroj pro menší tým (30 testerů), ve kterém by mohl provádět manuální testy, ale důraz kladl na automatizované testy a snadnou integraci se systémy CI. Z portfolia dostupných nástrojů jsme si vybrali Xray díky jeho uživatelsky přívětivému grafickému rozhraní, mnoha integracím s testovacími frameworky a také široké škále nastavení.

Xray – stručný přehled

Xray je zásuvný modul systému Jira určený pro správu testovacích týmů, řízení testů, testovacích plánů a zaznamenávání výsledků testů. Xray je postaven na předpokladu, že co je možné a má smysl zaznamenat jako úkol JIRA, má vytvořený typ úkolu. Díky tomu je možné mít vlastní nastavení procesů pro úlohy, což může být výhodou zejména při návrhu a plánování testů. V základním nastavení pracuje Xray s následující sadou úloh:

• Test Set – balíček testů, které spolu souvisejí.
• Test – samostatný test
• Pre-Condition – podmínka, která musí být splněna před provedením testu
• Test Plan – plán, který definuje sadu testů, jež mají být provedeny pro určitou verzi
• Test Execution – konkrétní provedení testů a zaznamenání výsledků

Kromě těchto typů úloh můžeme v Xray pracovat s požadavky, jejichž implementaci chceme otestovat. Propojením úloh typu Požadavek s Testy a Testů s úlohami typu Chyba je možné vytvářet mapy pokrytí, kde je možné vidět, který Bug/Test má vliv na který požadavek.

Samotný systém Xray obsahuje různé pohledy na provádění testů. Tvůrce Xray, společnost Xpand IT, dodává také plugin Xporter, který poskytuje možnost reportovat testy také s možností exportovat reporty do formátů .xlsx, .docx, .pdf, .docm, .dotm, .rtf, .odt, .svg, .png. V případě, že spolu s Jirou používáte zásuvný modul EazyBI, přidává Xray do tohoto zásuvného modulu předdefinované rozměry a naměřené hodnoty.

Začínáme s Xray

Než začneme vytvářet testy v Xray, musíme Xray nastavit. Protože Xray umí pracovat i s propojením s požadavky a úlohami s chybami, doporučuje Xpand IT (tvůrce Xray) vybrat si z následujících nastavení projektu:

1. Vše v jednom projektu – v tomto režimu jsou systémové požadavky včetně implementačních úloh, testů a chyb v jednom projektu.
2. Oddělit implementační projekt od testovacího projektu – v tomto režimu jsou implementační věci: požadavky, implementační úlohy, chyby v „Implementačním projektu“ a úlohy související s testováním: testy, podmínky, sady testů, plány testů, provádění testů v „Testovacím projektu„.
3. Specializovaný projekt pouze pro testy – v tomto režimu jsou 3 projekty: implementační projekt (požadavky, implementační úlohy), projekt s testy (testy, sady testů a podmínky) a projekt pro testování (plány testů, provedení testů, chyby)
4. Úplné oddělení – oproti „Specializovanému projektu pouze pro testy“ je v tomto režimu odděleno také zaznamenávání chyb do externího projektu.
5. Požadavky v izolovaném systému – toto nastavení umožňuje napájet testy na požadavky, které jsou evidovány v jiných systémech, jako jsou: Enterprise Architect apod.

Po výběru a konfiguraci Xray a testovacího projektu můžeme zahájit fázi návrhu testů.

Navrhování testů

Xray umožňuje zaznamenávat dva typy testů, manuální a automatizované. Tyto testy lze kombinovat do sad testů nebo od verze 3.0 do testovacího repozitáře, kde lze testy třídit do složek. Testy nebo sady testů lze propojit s požadavky, přičemž stav pokrytí testů lze zobrazit přímo na stránce požadavku. Někteří mohou také ocenit možnost přidávat vstupní podmínky pro testy spolu s jejich opětovným použitím pro jiné testy.

Manuální testy se skládají ze seznamu kroků, z nichž každý se skládá z popisu kroku, vstupních dat a očekávaného výsledku. Kroky lze přeuspořádat, odstranit a přidat přílohy. Další výhodou je použití formátování značek wiki pro popis testu i popis kroků, dat a požadovaných výsledků.

Xray také umožňuje zaznamenávat automatizované testy. Speciální kategorií, na které vývojář pracuje, jsou testy Cucumber, kde je přímá podpora skriptování v systému Jira s podporou zvýraznění klíčových slov jazyka Gherkin. Tyto testy lze později exportovat do souborů funkcí Cucumber, které lze spustit v testovacím prostředí.

Ostatní automatizované testy lze vytvářet v systému Jira za předpokladu, že známe identifikátor testu v daném jazyce, nebo jednodušším způsobem – prvotním importem výsledků testu do systému Jira. Xray pak každý další import výsledků daného testu propojí s existujícím testem.

Plánování testů

Plánování se provádí vytvořením testovacích plánů spojených s testy nebo sadami testů, které mají být v plánu testovány. Od verze 3.0 je možné při používání úložiště testů používat zobrazení plánování. V tomto zobrazení je možné přidávat testy z úložiště a upravovat tak plán testů.

Spuštění testů

Abychom mohli v Xray spustit testování, musíme nejprve vytvořit úlohu Test Execution. Pokud jsme testování předem naplánovali prostřednictvím testovacích plánů, je možné takovou úlohu vytvořit přímo z plánu testů. Odkazy na testy obsažené v plánu se automaticky zkopírují do úlohy Test Execution. Pokud jsme testování neplánovali nebo potřebujeme provést testování mimo plán, je možné tuto úlohu vytvořit přímo a přidat do ní požadované testy.

Vlastní provedení testů se u manuálních testů provádí na speciální obrazovce, která se zobrazí po kliknutí na tlačítko Spustit test z úlohy Provedení testu. Na této obrazovce se zobrazí informace o právě prováděném testu s popisem testu, případnými vstupními podmínkami a kroky tohoto testu. Tester má možnost hlásit chyby přímo z této obrazovky nebo po úspěšném provedení testu pokračovat dalším testem přímo z této obrazovky.

Výsledky automatizovaných testů lze importovat přímo do úlohy Provedení testu. Testy, které se nepodařilo spárovat s existujícími testy, jsou automaticky vytvořeny a přiřazeny k danému Test Execution.

Report o výsledcích

Xray obsahuje několik miniaplikací v systému Jira, kde můžete sledovat průběh testování, ale také obsahuje reporty související s testováním, jako jsou: Mapa pokrytí testů, Pokrytí testů v čase, Zpráva o plánu testů, Zpráva o provedení testů a Zpráva o průběhu testů.

S čím vám můžeme pomoci

Na začátku je třeba nastavit Xray. K tomu jsou nutné následující kroky:

1. Shromáždění a analýza požadavků na testování – jaké projekty se budou testovat, jak často, jaké jsou cykly vydání, jaká je struktura testovacího týmu atd.
2. identifikace přístupů k testování – každý typ projektu má svá specifika, a proto obvykle existuje více typů přístupů.
3. sjednocení přístupů k testování – z důvodu zjednodušení řízení Xray je v tomto kroku poměrně důležité redukovat typy přístupů na minimální počet

Na základě těchto kroků můžeme nakonfigurovat Jiru a Xray tak, aby co nejvíce vyhovovaly požadavkům klienta.

Pomáháme klientům integrovat se systémy CI, kde lze dosáhnout reportování výsledků automatických testů přímo do systému Jira po dokončení sestavení na CI.