Peter Gostev verglich Fable 5.2 und Opus in mehr als 100 Generierungsaufgaben Runde für Runde miteinander.
Der Bericht von Crypto Briefing nennt lediglich die beiden Modellnamen, den Umfang des Vergleichs und die Angabe „mehr als 100 Generierungen“. Konkrete Bewertungskriterien, die Zahl der Siege oder die Art der Testaufgaben werden nicht offengelegt.
· Betrachtet man die Zahl der Generierungen als Stichprobengröße, sagt sie etwas über die Anzahl der Tests aus, ist aber keine quantitative Aussage über die Fähigkeiten der Modelle.
· Solange keine Einzelergebnisse vorliegen, ist die Frage, welches Modell stärker ist, lediglich die Einschätzung des Moderators dieses Vergleichs und kein abschließendes Ergebnis.
Wenn man dir nur die Gesamt-Siegquote zeigt: Möchtest du zuerst die Einzelbewertungen oder die ursprünglichen Generierungsbeispiele sehen?
Der Bericht von Crypto Briefing nennt lediglich die beiden Modellnamen, den Umfang des Vergleichs und die Angabe „mehr als 100 Generierungen“. Konkrete Bewertungskriterien, die Zahl der Siege oder die Art der Testaufgaben werden nicht offengelegt.
· Betrachtet man die Zahl der Generierungen als Stichprobengröße, sagt sie etwas über die Anzahl der Tests aus, ist aber keine quantitative Aussage über die Fähigkeiten der Modelle.
· Solange keine Einzelergebnisse vorliegen, ist die Frage, welches Modell stärker ist, lediglich die Einschätzung des Moderators dieses Vergleichs und kein abschließendes Ergebnis.
Wenn man dir nur die Gesamt-Siegquote zeigt: Möchtest du zuerst die Einzelbewertungen oder die ursprünglichen Generierungsbeispiele sehen?
