Freitag, 21. Mai 2010

Wer misst misst Mist, oder ?

Die Problematik der Fehlinterpretation von Messwerten ist gefühlt allen bekannt. Motto: Traue keiner Statistik, die Du nicht selbst gefälscht hast und so ... Dabei ist die Ursache des Missbehagens einfach zu finden. Es wird oft viel zu schludrig gearbeitet.

Hier meine aktuelle TOP3-Liste der handwerklichen Fehler:

1. Beliebige Bildung von Durchschnittswerten aus weit streuenden Fakten. Sie wissen schon, linker Fuß in kochendem Wasser, rechter in Eiswasser macht im Schnitt eine ganz kommode Temperatur.

2. Bildung von Durchschnitten aus Durchschnitten ( der Durchschnitt der durchschnittlichen Tagesantwortzeit eines Systems ist etwas ganz anderes als der Durchschnitt aller Antwortzeiten ) Grund: die Gewichtung verschiebt sich.

3. Die Bildung von KPIs durch Division von zwei Elementen ohne jeden Zusammenhang. Beispiel aus einem derzeit sehr kontrovers diskutierten Bereich: Globale Erwärmung. In England galt früher: Messungen morgens/mittags/abends. Daraus Durchschnittsbildung für die Tagestemperatur. Heute gilt: Einsatz eines MinMax-Thermometers und Durchschnittsbildung aus den beiden Werten für Minimum und Maximum aus 24h. Trägt man nun alte und neue Werte kommentarlos in eine Entwicklung über die Zeit ein, ergibt sich ein anderes Bild von Erwärmung an diesem Ort als wenn man bei der alten Methode geblieben wäre. Die Änderung der Mess-Methode ist eine Manipulation (egal ob sie nun die Idee der globalen Erwärmung bestätigt oder ihr widerspricht).

Jeder Verbraucher muss die Qualität des Produkts letztendlich für sich selbst beurteilen. Irritierend ist, dass eher triviale Zusammenfassungen (Kosten pro SAP User) eigentlich eingängiger sind als fokussierte Betrachtungen (welche User sind teuer, welche wertschöpfend, welche nicht). Na ja, die Daten auf dem Autoquartett-Kärtchen aus der Jugend waren auch eingängiger als meine heutigen Kriterien beim Autokauf.

Und was die Statistik betrifft: Ein Erkenntnisgewinn hängt ab von präzisem und verantwortlichem Umgang mit Daten. Das ist nicht nur eine Frage qualitativer Arbeit sondern auch von Ethik.

Keine Kommentare:

Kommentar veröffentlichen