Auswahl der richtigen Softwaretestmetriken

Eine Softwaretestmetrik ist ein Kriterium, um die Wirksamkeit der Qualitätssicherungsbemühungen zu verfolgen. Zunächst legen Sie während der gesamten Planungsphase Erfolgsindikatoren fest. Vergleichen Sie sie dann nach Abschluss des Vorgangs mit der empfangenen Metrik.

Viele Software-QA- und Testexperten konzentrieren sich jedoch eher darauf, wie die Tests ausgeführt werden, als auf die tatsächlichen Informationen, die durch die Tests erzeugt werden. Damit meine ich, dass sich Tester oft auf die bloße Zufriedenheit konzentrieren, alle Tests abgeschlossen zu haben. Aber ist das immer eine gute Sache? Sie können eine 100% ige Erfolgsquote mit allen grünen Indikatoren auf Ihrem Dashboard haben, und es ist immer noch möglich, dass Ihre Tests nicht stark genug sind.

In diesem Artikel werden fünf Softwaretestmetriken behandelt, die QS-Experten bei der Bewertung ihres Erfolgs unterstützen können.

Merkmale einer “guten” Testmetrik

Lassen Sie uns über die Funktionen sprechen, die eine Metrik idealerweise haben sollte.

Relevant für Geschäftsziele

Kritische KPIs sollten die primäre Mission und den Zweck eines Unternehmens widerspiegeln; zum Beispiel das monatliche Umsatzwachstum oder die Anzahl neuer Benutzer. Jedes Unternehmen wählt seine Kennzahlen basierend darauf aus, was es mit seinem Produkt erreichen möchte. Während es attraktiv erscheinen mag, in allen Tests erfolgreich zu sein, kann die Konzentration auf die falschen Ziele täuschen. Dies kann sich auf die Arbeit der App und das gesamte komplexe System auswirken, z. B. die Headless Commerce-Architektur.

Ermöglicht Wachstum

Jede Metrik sollte Verbesserungen ermöglichen. Was ist, wenn Sie eine Erfolgsquote von 100% erreicht haben? Das Ziel kann sein, die Metrik auf diesem Niveau zu halten oder weiter zu verbessern.

Fördert die Entwicklung einer Strategie

Wenn eine Metrik einem Team ein Ziel gibt, motiviert sie es auch, Fragen zu stellen, um einen Plan zu entwickeln. Angenommen, Sie müssen den Umsatz steigern. Überlegen Sie, ob das Produkt neue Funktionen erfordert, um mehr Einkäufe zu fördern. Ist es notwendig, einen neuen Akquisitionskanal zu erstellen? Hat der Wettbewerber neue Produkte oder Funktionen auf den Markt gebracht, die neue Käufer anziehen?

Nachvollziehbar und nachvollziehbar

Gute Metriken sind einfach zu verstehen und zu befolgen. Wie werden die Menschen um sie herum fundierte Entscheidungen treffen? Die Mitarbeiter müssen verstehen, was sie tun können, um das Ergebnis zu verbessern.

Drei Tipps zur Auswahl und Messung von Softwaretestmetriken

Stellen Sie zunächst Fragen

Ihre Fragen sollten drei Themen abdecken:
1. Was Sie messen
2. Strategien und Werkzeuge zur Messung
3. Gründe, es zu verfolgen

Um die Analyse nutzloser Metriken zu vermeiden, achten Sie auf den Metrikdefinitionsprozess. Manchmal bedeutet eine kleine Anzahl von Backlog-Fehlern, dass Ihr QA-Team seine Arbeit erledigt. Wenn Sie diese Fehler jedoch in Probleme mit hoher / mittlerer / niedriger Priorität aufteilen, können Sie die Gesamtqualität des Programms besser erkennen und die erforderlichen Anpassungen vornehmen.

Vernachlässigen Sie nicht die Automatisierung bei der Berechnung von QS-Metriken

Die Automatisierung spart Ihnen Zeit bei der manuellen Datenerfassung und trägt dazu bei, dass Ihre Metriken immer relevant sind. Nehmen wir an, Sie verwenden Jira. Richten Sie auf Ihrer Confluence-Seite eine Jira Query Language (JQL)-Anfrage ein, wenn Sie in jedem Sprint Daten zu kritischen Fehlern benötigen. Es wird regelmäßig aktualisiert. Oder Sie können andere Tools verwenden, die auf Ihrem bevorzugten Testmanagement- / Task-Tracking-System basieren.

Kommentare sammeln und Metriken schrittweise verbessern

Sobald Sie alle Metriken eingerichtet und gesammelt haben, beginnen die Feedback- und Verbesserungsprozesse. Achten Sie auf Feedback, um die Effizienz und Klarheit Ihrer Metriken und Berichte zu verbessern.

Fünf zu verfolgende Softwaretestmetriken

Schauen wir uns nun einige spezifische Beispiele an. Beachten Sie, dass unterschiedliche Qualitätsaspekte je nach den Umständen unterschiedlich wichtig sind.

Benutzerzufriedenheit

Hier möchten Sie die Reaktion des Kunden auf das Produkt sehen. Sie verwenden Umfragen zur Benutzerzufriedenheit und Support-Tickets, die Fehler aufdecken. Wenn Sie diese Qualitätsmetriken verfolgen und daran arbeiten, sie zu verbessern, wird das Geschäft wachsen, da Sie mehr zufriedene und wiederkehrende Kunden sehen werden. Wenn etwas nicht stimmt, müssen Sie eine kausale Problemanalyse durchführen und die Straßensperren beseitigen.

Prozessmetriken

Dies sind interne Messungen, die einen erheblichen Einfluss auf Ihre Produktqualität haben. Sie können beispielsweise die Vorlaufzeit und die Zeit zwischen dem Festlegen der Aufgabe und der Bereitstellung und Produktion des Codes verfolgen.

Eine weitere Metrik, die Sie verwenden könnten, ist die Zykluszeit. Es bedeutet Zeit, ein Feature zu erstellen, nachdem Sie die Genehmigung erhalten haben, mit der Arbeit daran zu beginnen. Schließlich können Sie die Zeit verfolgen, die zur Lösung von Schwierigkeiten benötigt wird. Dies kann sich auf die Geschwindigkeit beziehen, mit der Tickets oder Fehler behoben werden, sobald sie gemeldet wurden.

Da diese Metriken schwer zu messen sind, besteht eine weitere Methode zur Verbesserung der Prozesseffizienz darin, zu erkennen, wo sich unvollendete Arbeiten in der Warteschlange zu stapeln beginnen. Es kann einen Engpass aufzeigen, der, wenn er beseitigt wird, Ihren Teams helfen könnte, produktiver zu werden.

Coverage Metrics

Ein weiterer Indikator für die Testqualität ist die Testabdeckung. Es informiert uns über die Menge des getesteten Codes. Es ist eine Methode, um sicherzustellen, dass Ihre Tests den Code überprüfen und wie viel sie funktionieren. In diesem Fall ist es besser, eine Top-Down-Strategie zu verwenden. Der erste Schritt ist die Analyse der Modulabdeckung. Dann betrachten Sie die Funktionalität und schließlich die Datenabdeckung in jeder Funktionalität. Es bedeutet, wie viele verschiedene Kombinationen der potenziellen Dateneingaben Sie mit Tests abdecken.

Diese Gruppe umfasst Metriken wie:
● Prozentsatz der Anforderungsabdeckung
● Unit-Testabdeckung
● Manuelle oder explorative Testabdeckung
● Testfälle nach Anforderungskategorie
● UI-Testabdeckung
● Integrations- und API-Testabdeckung

Codequalitätsmetriken

Die Bewertung der Codequalität bedeutet, den Wert von Code in zwei Kategorien zu kategorisieren: Gut und schlecht. Es gibt keinen einzigen Qualitätsbegriff, da praktisch jeder Entwickler für sich selbst definiert, was guten Code ausmacht. Wie können Sie die Codequalität beurteilen? Tools wie SonarQube können Sie zeigen, wie viel technische Schulden in einem System ist. Sie müssen Probleme und Schwachstellen klassifizieren, nach Priorität organisieren und auswählen, worauf Sie sich konzentrieren möchten.

Fehler- oder Incident-Metriken

Jedes Problem unterscheidet sich im Schweregrad, geben Sie also nicht allen Problemen das gleiche Gewicht. Manche Probleme sind einfach Verbesserungsvorschläge. Bestimmen Sie, welche Qualitätskomponenten für Ihr Unternehmen wichtiger sind als andere. Gehen Sie jedoch bei der Analyse der von Ihnen verwendeten Metriken über die Anzahl der Fehler hinaus.

Was können Sie aus Vorfallberichten extrahieren? Diese Ergebnisse können Folgendes umfassen:

● Gesamtzahl der Fehler
● Offene Fehler
● Geschlossene Fehler
● Die Zeit zum Schließen jedes Incident-Berichts
● Änderungen seit der letzten Version

Regeln zum Messen von Softwaretestmetriken

Die Bewertung von Metriken beim Softwaretest und die Schätzung ihres Erfolgs können frustrierend und vage sein. Hier sind einige Tipps und Vorschläge, die Sie verwenden können:

1. Korrelieren Sie Ihre Kennzahlen mit Projekt-, Prozess- und Produktzielen. Denken Sie daran, dass ein einzelner Indikator nicht ausreicht, um eine vollständige Ansicht Ihrer Softwarequalität zu erhalten.
2. Verfolgen Sie den Fortschritt (oder Regress) im Laufe der Zeit. Optimieren Sie den Datenerfassungsprozess durch Automatisierung, speichern Sie Daten in einer kollaborativen Ressource wie einem Wiki / Confluence und überprüfen Sie die Ergebnisse regelmäßig.
3. Melden Sie die Statistiken dem Kunden und dem Team, um Ihren Fortschritt anzuzeigen. Berichte sollten leicht verständlich sein, also machen Sie sie hilfreich und benutzerfreundlich.
4. Überprüfen Sie, ob die Metriken gültig sind. Irrelevante Metriken im Auge zu behalten und ungenaue Daten anzuzeigen, kommt nicht in Frage.

Die Messung ist eine wichtige Aktivität beim Softwaretest, z. B. die Bestimmung der Anzahl erfolgreicher Tests und der Anzahl fehlgeschlagener Tests. Alle Informationen, die Sie erhalten, kommen zu den Stakeholdern. Dadurch können sie fundierte Entscheidungen treffen, z. B. wann eine App veröffentlicht wird.

Wie können Sie Ihre Testaktivitäten überwachen? Sie müssen relevante Softwaretestmetriken ermitteln. Die Auswahl der richtigen Testmetriken kann schwierig sein. Häufig entscheiden sich Teams für Metriken, die nicht mit dem Gesamtgeschäft synchronisiert sind.

Was kann der Mangel an adäquaten Benchmarks verursachen? Stakeholder scheitern daran, Fortschritte zu messen, Entwicklungsmöglichkeiten zu identifizieren oder zu kontrollieren, welche Testtaktiken die positivsten Auswirkungen haben. Alles in allem müssen QA-Teams den individuellen Fortschritt, das Qualifikationsniveau und den Erfolg sowie die Codequalität, Fehler und Abdeckung verfolgen.