Ich weiß jetzt auch, warum meine bisherigen A/B-Test-Versuche oft gescheitert sind: das Verhältnis von Signal-to-Noise ist nicht immer gut. Ich habe jetzt die Experimente mehr oder weniger neu gestartet und erst nach so 300 Samples hat sich der A/A-Test stabilisiert. Das deutet auf einen ziemlich hohen Noise-Faktor hin.
Ich meine: es gibt so viel, was da passieren kann. Es sind ganz unterschiedliche Schüly-Gruppen auf der Webseite unterwegs. Diese Woche hatten wir viele Kurzzeit-Besucher, wenn sich das nochmal mischt mit Langzeit-Wiederkehrer und normalen SpielerInnen, dann weiß man ungefähr, welche bunte Mischung hier vorliegt.
Sooooo. Die euphorischen Ergebnisse vom letzten Post sind so nicht wieder eingetreten erstmal. Das Zitronentinte-Experiment hatte eine minimale Änderung und bei knapp 300 Samples zeigt auch dieses Experiment kein Ergebnis. Das Agent-Experiment, das beim letzten Versuch einen ziemlich starken Ausschlag gemacht hat, verhält sich in dieser Iteration sehr unauffällig.
Ebenfalls kaum Veränderung bei der Geburtstags-Überarbeitung. Ein Nicht-Ergebnis hier ist aber schon ein Erfolg, weil das immerhin zeigt, dass die neue Aufgabe keinen Schaden verursacht bzw. auf einer vergleichbaren Schwierigkeit liegt wie die vorherige Aufgabe. Mit nur knapp 100 Samples ist das aber auch weit von abgeschlossen.
Wegen einem Bug musste ich Einhorn nochmal neu starten. In der Umfrage wird diese Aufgabe geliebt und gehasst. Eine typische kontroverse Aufgabe. Absolut zu früh, etwas zu sagen, ich muss glaube ich die -100% Uplift mit p = 0.0003 einfach mal ignorieren. Bei Minecraft III habe ich auch kaum was geändert und die Auswirkungen sich auch kaum merklich, die Samples strömen langsam rein, vielleicht passiert noch was.
Alles in allem: vielleicht ist es einfach so, dass viele Studien ohne Ergebnis sind? Das scheint sich hier zu bestätigen. Um ehrlich zu sein: viele Experimente fahren ja auch mit sehr kleinen, vielleicht zu kleinen, Änderungen. Also ich freue mich, das auszuprobieren, bin gleichzeitig auch sehr gespannt, wohin der Weg mich führen wird und was das eigentlich für die Weiterentwicklung von HTW bedeutet.