Warum konnte ich der Sicherheitsbewertung von 93 % auf den ersten Blick nicht ganz trauen? Die Bestehensgrenze liegt bei 70 %, also 23 Prozentpunkte darunter. Auf der Website stehen die 93 % an prominentester Stelle. Die Gesamtpunktzahl ist ein Durchschnitt, und Durchschnitte können Schwachstellen verbergen – das ist eine alte Angewohnheit von mir, wenn ich Bewertungen lese. Die werde ich einfach nicht los. An dem Tag, als ich die 93 % sah, leitete ich sie nicht gleich weiter, sondern suchte erst einmal nach der Tabelle mit den Einzelbewertungen.
Betrachtet man die sechs Einzelbereiche, ergibt sich folgendes Bild: Code & Team 100 %, Oracles 100 %, Admin Controls 97 %, Sicherheit 94 %, Tests 89 % und als letzter Punkt Dokumentation mit 70 % – genau an der Bestehensgrenze. Bei @TermMax war dieser letzte Punkt der schwächste der sechs Bereiche. Als ich alle sechs Einzelwerte überprüft hatte, blieb ich an der Zeile mit den 70 % hängen: Sie lag nur knapp über der Bestehensgrenze.
Schreibt man die sechs Zahlen untereinander und sortiert sie absteigend, springt der schwächste Punkt sofort ins Auge. Sobald man nachrechnet, zeigt sich: Die Wahrheit hinter den 93 % steckt in diesem Schlusslicht. Code, Oracles und Zugriffskontrollen liegen allesamt nahe an der Bestnote, während der letzte Punkt gerade so besteht. Das ist kein Zufall.
Ich habe die sechs Einzelbewertungen zweimal überprüft, und je öfter ich das tat, desto mulmiger wurde mir. Eine schöne Gesamtpunktzahl bedeutet nicht, dass es keine Schwachstellen gibt. Erst die niedrigste Einzelbewertung zeigt, ob man selbst nachprüfen sollte. Ist dieser Punkt schwach, darf man nicht erwarten, nach ein paar Seiten schon alles zu verstehen – man muss selbst Hand anlegen und es überprüfen.
Bei einer Suche im Browser fand ich heraus, dass die Prüfberichte vollständig auf GitHub veröffentlicht sind und das Bug-Bounty-Programm dauerhaft läuft. Erst wenn man diese Maßnahmen zusammen mit dem mit 70 % bewerteten Bereich betrachtet, versteht man den Charakter dieses Projekts. Beim Gegenlesen zeigt sich, dass jeder der sechs Bereiche einer Überprüfung standhält.
Das ist in der Sache nachvollziehbar: Rhetorik verbirgt Schwachstellen, eine Prüfung legt sie offen. Dass die Verantwortlichen auch die 70 % öffentlich zeigen, macht diese Offenheit umso wertvoller. Die 93 % und die 70 % nebeneinander zu lesen, bedeutet, Gesamtpunktzahl und Schwachstelle gemeinsam zu betrachten.
Wer es unkompliziert mag, schaut auf die Gesamtpunktzahl; wer selbst Hand anlegen will, auf die Einzelbewertungen. Nimm die 93 % lieber als Ausgangspunkt statt als Beruhigungspille. Kümmere dich selbst um den schwächsten Punkt – erst dann gehören dir die übrigen fünf wirklich. Rechnet man alles zusammen, steht die Antwort im schwächsten Bereich: Erst wenn beide Rechnungen gemacht sind, ist man fertig. Manche finden, eine schöne Gesamtpunktzahl sei genug. Ich sehe das anders. #TermMax
Betrachtet man die sechs Einzelbereiche, ergibt sich folgendes Bild: Code & Team 100 %, Oracles 100 %, Admin Controls 97 %, Sicherheit 94 %, Tests 89 % und als letzter Punkt Dokumentation mit 70 % – genau an der Bestehensgrenze. Bei @TermMax war dieser letzte Punkt der schwächste der sechs Bereiche. Als ich alle sechs Einzelwerte überprüft hatte, blieb ich an der Zeile mit den 70 % hängen: Sie lag nur knapp über der Bestehensgrenze.
Schreibt man die sechs Zahlen untereinander und sortiert sie absteigend, springt der schwächste Punkt sofort ins Auge. Sobald man nachrechnet, zeigt sich: Die Wahrheit hinter den 93 % steckt in diesem Schlusslicht. Code, Oracles und Zugriffskontrollen liegen allesamt nahe an der Bestnote, während der letzte Punkt gerade so besteht. Das ist kein Zufall.
Ich habe die sechs Einzelbewertungen zweimal überprüft, und je öfter ich das tat, desto mulmiger wurde mir. Eine schöne Gesamtpunktzahl bedeutet nicht, dass es keine Schwachstellen gibt. Erst die niedrigste Einzelbewertung zeigt, ob man selbst nachprüfen sollte. Ist dieser Punkt schwach, darf man nicht erwarten, nach ein paar Seiten schon alles zu verstehen – man muss selbst Hand anlegen und es überprüfen.
Bei einer Suche im Browser fand ich heraus, dass die Prüfberichte vollständig auf GitHub veröffentlicht sind und das Bug-Bounty-Programm dauerhaft läuft. Erst wenn man diese Maßnahmen zusammen mit dem mit 70 % bewerteten Bereich betrachtet, versteht man den Charakter dieses Projekts. Beim Gegenlesen zeigt sich, dass jeder der sechs Bereiche einer Überprüfung standhält.
Das ist in der Sache nachvollziehbar: Rhetorik verbirgt Schwachstellen, eine Prüfung legt sie offen. Dass die Verantwortlichen auch die 70 % öffentlich zeigen, macht diese Offenheit umso wertvoller. Die 93 % und die 70 % nebeneinander zu lesen, bedeutet, Gesamtpunktzahl und Schwachstelle gemeinsam zu betrachten.
Wer es unkompliziert mag, schaut auf die Gesamtpunktzahl; wer selbst Hand anlegen will, auf die Einzelbewertungen. Nimm die 93 % lieber als Ausgangspunkt statt als Beruhigungspille. Kümmere dich selbst um den schwächsten Punkt – erst dann gehören dir die übrigen fünf wirklich. Rechnet man alles zusammen, steht die Antwort im schwächsten Bereich: Erst wenn beide Rechnungen gemacht sind, ist man fertig. Manche finden, eine schöne Gesamtpunktzahl sei genug. Ich sehe das anders. #TermMax