onlinejournalismus.de

Man nehme sich vier Apps, die im Vergleich zu Flipboard, NewsPulse etc. massiv unterlegen sind, drücke sie jeweils schlappen acht oder neun Testpersonen in die Hand und leite aus marginalen Bewertungsunterschieden Ergebnisse ab.

So einfach geht das an deutschen Fachhochschulen. Soll man das ernst nehmen?

Ein Beispiel: Neun Testpersonen bewerten die Textqualität der Tagesschau-App mit der Note 1,7, die der FR und der HAZ mit 1,9 und die des Abendblatts mit 2,1. Daraus folgert man in der Studie, die Tagesschau-App liefere die beste Textqualität.

Bewertet wurde die Textqualität anhand einer einzigen Ausgabe jeder App.

Sorry, man muss nicht Statistik als Fach im Studium gehabt haben, um zu erkennen, dass diese Aussage auch nicht annäherungsweise korrekt ist. Bei so wenigen Testpersonen und bei einer Bewertung einer einzigen Ausgabe muss gesagt werden, dass zumindest die Textqualität der drei besten Apps, wenn nicht aller vier Apps nicht oder bestenfalls marginal unterschiedlich bewertet wird.

Zudem behauptet die Studie, die Tagesschau-App würde “vor allem inhaltlich” überzeugen. Tatsächlich weist die App der Tagesschau neben der Note 1,7 für die inhaltliche Qualität Noten wie 1,8 bzw. 1,9 für die anderen Kriterien auf. Bei so wenigen Testpersonen sind solche Werte mangels statistischer Signifikanz als identisch zu betrachten.

Ein wenig Wert kann man immerhin noch aus den Umfragen am Ende ziehen. 40 befragte Personen, fast zwei Drittel weiblich, hoher Zeitungsleseranteil – alles das ist nicht gerade repräsentativ (auch nicht für die Zielgruppe der jungen Leser), aber einige Ergebnisse wie z.B. der Wunsch nach multimedialen Inhalten sind wenigstens klar und eindeutig.

Ich bin sehr gespannt auf die Ergebnisse der Eye-Tracking-Studie. Aber eine Analyse der Optik und der Navigation von News Apps muss iPad-adäquate News-Apps wie z.B. Flipboard berücksichtigen, um wirklich aussagekräftige Ergebnisse zu liefern.

Zunächst einmal: Das Posting hier auf onlinejournalismus.de stammt von meiner Blogsite und ist dort ein Unterpunkt der Original-Presseveröffentlichung. Insofern entsteht hier ein etwas schiefer Eindruck, der sich durch Ihren Kommentar noch weiter festigt. Ich will deshalb hier einmal unmissverständlich festhalten: Im Zentrum der Vorab-Ergebnispräsentation stehen nicht die Tagesschau-Noten, sondern die Einschätzungen der befragten jungen Leser zur generellen Attraktivität von Tablets als Lesemedium. Diese gründen nicht auf „schlappen acht oder neun“ Befragten, sondern auf der Befragung von 40 Teilnehmern der Eyetracking-Studie.

Was die Noten betrifft: Ihr Hinweis ist natürlich zutreffend, mit der kleinen Fallzahl wird eine statistische Signifikanz in der Tat nicht erreicht. Nur: Das wird auch nirgendwo behauptet. Und erforderlich ist sie auch nicht: Die Benotungen sind Teil des Eyetrackingtests , hier liefern sie Hinweise für die Auswertung in den gegebenen Dimensionen. Nicht mehr und nicht weniger, und das ist in den veröffentlichten Materialien auch klar gesagt, die Daten sind vollständig transparent. Die Feststellung solcher Indizien ist im Übrigen selbst mit kleinen Fallzahlen substanziell völlig hinreichend. So werden etwa für Fokusgruppenbefragungen zur Produktoptimierung auch nicht mehr als 6 bis 12 Probanden befragt. Weitere Indikatoren für wahrgenommene Produkteigenschaften sind die Antworten aus den offenen Fragekategorien sowie mit der Methode des lauten Denkens gewonnene Aussagen. Auch hier – wie für das Usability-Eyetracking insgesamt – sind die Fallzahlen mit jeweils 10 Teilnehmern methodologisch absolut hinreichend.

Was die von Ihnen angesprochenen, sicherlich nicht zu Unrecht sehr beliebten Newsreader wie Flipboard (oder auch Pulse oder Flud oder Newswall oder oder etc.) anbelangt: Sie sind keine Zeitungsapps. Jetzt werden Sie vermutlich sagen: Das ist die Tagesschau-App auch nicht. Genau das aber stellen viele Zeitungsverlage kategoriell in Frage und ordnen diese App als elektronische Presse ein. Und genau deshalb haben wir diese App ganz bewusst ins Testfeld aufgenommen. Und nicht Flipboard &Co.

Ansonsten bin ich mir sicher, dass die Eyetracking-Auswertung Relevantes auch für Sie im Köcher haben wird. Sie haben ja beruflich scheinbar auch mit der RP aus Düsseldorf zu tun, die in Ihrer RP Plus-App bewusst auf die sonst übliche Navigationsleiste am unteren Screenrand verzichtet. Wer auch immer bei der RP die Idee dazu hatte, sie ist gut: In unseren Tests werden diese Navigationsleisten von den Probanden fast nie benutzt. Dass ist umso bemerkenswerter als diese ja gerade für App-Neulinge, wie sie für die Studie akquiriert wurden, wichtige Hilfen anbieten sollen. Auf der anderen Seite ist es auch nicht wirklich überraschend: Hier wirken ganz offensichtlich die im Web erlernten Navigationslogiken.

[...] wir es zunehmend mit der Fragmentierung von ungefähr allem zu tun haben.  Bezeichnend dafür ist eine kleine Studie der Fachhochschule Hannover, die eine kleine Gruppe junger Leser die Apps von vier Tageszeitungen testen ließ. Zuvor befragte [...]