Infografik: Manuelle Reviews als statische Testmethode
In dieser Infografik erfahren Sie mehr über Reviews als statische Testmethode. Abgesehen von manuellen Reviews, werden sehr häufig automatisierte (werkzeuggestützte) statische Analysen durchgeführt, der Fokus hier liegt auf manuellen Reviews.
Es gibt unterschiedliche Review-Arten. Sie werden je nach Projektbedürfnissen, nach den verfügbaren Ressourcen, nach der Produktart und ihrer Risiken, nach dem Geschäftszweig und der Unternehmenskultur, selektiert. In einem Projekt können mehrere Review-Arten kombiniert werden.
Bei formalen Reviews unterscheidet man zwischen:
- Walkthrough: Wird für die Auffindung von Fehlerzuständen, aber auch für die Verbesserung des Software-Produktes oder für Ideenaustausch, eingesetzt. Review-Sitzungen werden in der Regel vom Autor des Arbeitsergebnisses in Form von Szenarien, Dry Run (Probelauf) oder Simulationen geleitet.
- Technisches Review: Im Fokus dieser Review-Art steht der Gewinn von Konsens bzgl. der technischen Umsetzung und das Finden von potentiellen Fehlerzuständen. Solche Reviews werden obligatorisch von fachspezifischen Experten begleitet; die Ergebnisse werden detailliert protokolliert, idealerweise nicht vom Autor.
- Inspektion: Dient zur Bewertung der Qualität des Ergebnisses und zur Erkennung potentieller Fehlerzustände. Diese Review-Art hat einen formalen, durch Regeln definierten Ablauf und nutzt klar definierte Rollen und Verantwortlichkeiten. Es werden ebenso Protokolle potenzieller Fehlerzustände und Review-Berichte erstellt.
Review-Verfahren
Ad hoc
Die Gutachter lesen das Arbeitsergebnis und dokumentieren die Befunde „Ad hoc“.
Vorteile: Wenig bis keine Vorbereitung.
Nachteile: Hängt stark von den Fähigkeiten der Gutachter ab und kann zu vielen doppelt berichteten Befunden führen.
Checklistenbasiert
Die Gutachter prüfen die Ergebnisse auf Basis von Checklisten die bei Review- Beginn verteilt werden. Eine Review-Checkliste besteht aus einer Sammlung von Fragen, die auf potenziellen Fehlerzuständen basieren.
Vorteile: Systematische Überdeckung typischer Fehlerarten.
Nachteile: Fehlerzustände außerhalb der Checkliste könnten außer Acht gelassen werden.
Szenarien und Dry Runs (Probeläufe)
Ein Szenario-basiertes Review unterstützt Gutachter dabei, Probeläufe mit dem Arbeitsergebnis auf Basis der erwarteten Nutzung des Arbeitsergebnisses durchzuführen (z.B. auf Basis von Anwendungsfällen).
Vorteile: Geben bessere Richtlinien, wie spezifische Fehlerarten identifiziert werden können, als Checklisten.
Nachteile: Fehlerzustände außerhalb der Szenarien können außer Acht gelassen werden.
Perspektivisch
Beim perspektivischen Lesen nehmen Gutachter im individuellen Review unterschiedliche Standpunkte von unterschiedlichen Stakeholdern ein: U.a. Endanwender, Marketing, Designer, Tester oder Betrieb.
Vorteile: Die Nutzung unterschiedlicher Stakeholder-Standpunkte führt zu mehr Tiefe im individuellen Review. Es kommen weniger Doppelungen von Befunden vor.
Nachteile: Es muss auf korrekte Einbeziehung der unterschiedlichen Stakeholder geachtet werden sowie auf die Gewichtung ihrer Sichtweisen im Reviewprozess. Die Meinungen der Stakeholder können sich stark unterscheiden.
Rollenbasiert
Die Gutachter bewerten das Arbeitsergebnis aus der Perspektive von individuellen Stakeholderrollen. Typische Rollen beinhalten spezifische Arten von Endanwendern (erfahren, unerfahren, Senioren, Kinder usw.) und spezifische Rollen innerhalb einer Organisation (Benutzeradministrator, Systemadministrator, Performanztester usw.).
Vorteile und Nachteile: Ähnlich wie beim perspektivischen Review-Verfahren.
Die ISO-Norm (ISO/IEC 20246) enthält Beschreibungen des Review-Prozesses für Arbeitsergebnisse sowie Rollen und Review-Verfahren. Der Review-Prozess kann je nach Review-Ziel und -Art anders verlaufen. Unten beschreiben wir typische Aktivitäten im Review-Prozess.
Review-Prozess
Planung
Definition des Umfangs, Schätzung von Aufwand und Zeitbedarf
Identifizieren von Review-Eigenschaften wie der Review-Art mit Rollen, Aktivitäten und Checklisten
Auswahl der Personen, die am Review teilnehmen sollen und Zuordnung der Rollen
Review-Beginn (Kick-Off)
Verteilen des bisherigen Arbeitsergebnisses und anderer Materialien, wie Befund-Template, Checklisten, usw.
Erläutern des Umfangs, der Ziele, des Prozesses, der Rollen und der zu erwartenden Arbeitsergebnisse gegenüber den Teilnehmern
Individuelle Vorbereitung seitens der Gutachter
Review des gesamten oder von Teilen des Arbeitsergebnisses
Aufzeichnung potenzieller Fehlerzustände, Empfehlungen und Fragen
Befundkommunikation und -analyse
Kommunikation identifizierter potenzieller Fehlerzustände (z.B. in einer Review-Sitzung)
Analyse potenzieller Fehlerzustände, Zuweisung von Zuständigkeit und Status
Bewertung und Gewichtung von Qualitätsmerkmalen
Fehlerbehebung und Bericht (Nachbereitung)
Für die Befunde, die Änderungen an einem Arbeitsergebnis erfordern, Fehlerberichte erstellen
Kommunikation von Fehlerzuständen an die zuständigen Person oder das zuständige Team
Beheben von im geprüften Arbeitsergebnis gefundenen Fehlerzuständen (üblicherweise durch den Autor)
Aufzeichnung des aktualisierten Status der Fehlerzustände, Sammeln von Metriken (in formalen Reviews)
Abnahme des Arbeitsergebnisses, wenn die Endkriterien erreicht sind
Best Practices für Reviews
Für ein erfolgreiches Review muss eine geeignete Review-Art und ein geeignetes Review-Verfahren ausgewählt werden. Darüber hinaus gibt es eine Reihe von Faktoren, die das Ergebnis des Reviews beeinflussen.
- Klare und messbare Ziele und Endkriterien
- Richtige Auswahl der teilnehmenden Personen
- Wertschätzung der Tester
- Gute Vorbereitung der Teilnehmer
- Aktuelle Unterlagen (z.B. Checklisten)
- Unterstützung des Reviewprozesses seitens des Managements
- Vertrauensvolle Atmosphäre und positive Aufnahmen von gefundenen Fehlern
- Förderung der Lernkultur des Unternehmens
