Nextgen-Messung

Erzeugt: 2026-08-13 10:36:50 · Testsatz: clic20v, 14 Bilder · Betriebspunkte: 3

Fragestellung

Wie viel Bildqualität liefern die Verfahren, wenn alle exakt gleich viele Bytes verbrauchen dürfen? Das ist die Frage, die in der Praxis zählt — nicht, wer bei frei gewählter Qualitätsstufe zufällig besser aussieht.

Methodik

1. Jedes Bild wird mit KARC kodiert. Maßgeblich ist die echte Byte-Zahl aus der Datei, kein Schätzwert.
2. Jede Baseline wird per Bisektion über ihre Qualitätsstufe auf genau diese Byte-Zahl getrimmt.
3. Erst dann werden PSNR und MS-SSIM gegen das Original gemessen.

Genommen wird jeweils der Kandidat mit dem kleinsten Byte-Abstand zum Ziel — ober- wie unterhalb. Würde man „nie mehr Bytes als KARC" fordern, bekämen die Baselines bei grober Qualitätsstufung teils deutlich weniger Bytes und sähen künstlich schlechter aus.

Welche Byte-Zahl verglichen wird — und warum das hier entscheidend ist

Verglichen wird die reine Codec-Nutzlast, nicht die volle Dateigröße. Der .karc-v2-Container enthält zusätzlich eine eingebettete Vorschau. Bei Bildern dieser Größe ist die überraschend groß — siehe die Tabelle weiter unten. Nimmt man die volle Datei als Ziel, bekommen die Baselines für die eigentlichen Bilddaten bis zu doppelt so viele Bytes wie KARC; gemessen wird dann nicht mehr die Codec-Qualität, sondern der Vorschau-Aufschlag.

Ein erster Durchlauf dieses Tests hatte genau diesen Fehler und ließ KARC dadurch gegen AVIF verlieren. Der Fehler fiel auf, weil die gemessene Bitrate deutlich über der aus dem offiziellen Benchmark lag — bei identischem PSNR.

Testsatz: clic20v — Bilder, auf denen das Modell nicht trainiert wurde.

Baseline-Einstellungen:

• AVIF — Pillow/libaom speed=4
• WebP — Pillow/libwebp method=6
• JPEG 2000 — Pillow/OpenJPEG quality_mode=rates
• JPEG — Pillow/libjpeg optimize=True

Ergebnis

Mittelwerte über alle 14 Bilder. Δ = KARC minus Baseline, positiv bedeutet KARC besser.

Betriebspunkt λ = 0.0067 (im Mittel 0.3401 bpp, 37214 Byte je Bild)

Betriebspunkt λ = 0.013 (im Mittel 0.4908 bpp, 53677 Byte je Bild)

Betriebspunkt λ = 0.025 (im Mittel 0.6579 bpp, 71896 Byte je Bild)

Nebenbefund: die eingebettete Vorschau ist zu groß

Beim Aufsetzen dieses Tests fiel auf, wie viel des .karc-Containers gar nicht auf die Bilddaten entfällt:

Im Mittel entfällt also gut ein Drittel der Datei auf ein Vorschaubild, im Extremfall über vier Fünftel — dort ist die eigentliche Bildinformation nur noch ein Sechstel der Datei. Der Effekt trifft kleine Dateien am härtesten, weil die Vorschau kaum mit der Bitrate schrumpft.

Für die Codec-Bewertung ist das irrelevant. Für die Produktgröße ist es der mit Abstand größte Hebel, den dieser Testlauf zutage gefördert hat — und er wirkt sofort, unabhängig von jeder Modellverbesserung.

Wie genau wurde die Byte-Zahl getroffen?

| Verfahren | Ø |Abweichung| | größte Abweichung | |---|---:|---:| | AVIF | 1.56 % | 5.33 % | | WebP | 0.58 % | 1.71 % | | JPEG 2000 | 0.49 % | 2.64 % | | JPEG | 0.81 % | 4.29 % |

Die Qualitätsstufen der Baselines sind ganzzahlig; ein exakter Byte-Treffer ist deshalb nicht immer möglich. Die tatsächlich erreichte Byte-Zahl steht bei jedem Messwert in daten/messwerte.json und auf jeder Vergleichstafel.

Geschwindigkeit (KARC, CPU)

Kodieren im Mittel 27.5 s, Dekodieren 20.2 s je Bild. Der Codec lief hier bewusst auf der CPU, damit parallel ein GPU-Training ungestört weiterlaufen konnte.

Einzelmessungen, Betriebspunkt λ = 0.013

Damit jede Mittelwert-Angabe oben nachrechenbar ist — PSNR in dB je Foto und Verfahren:

Was in diesem Ordner liegt

Dateibenennung der Tafeln:

<datensatz>_<nr>_mse-l<lambda>_ausschnitt_x<X>-y<Y>-<kante>px_A4quer300dpi.png

x/y ist die Position des gezeigten Ausschnitts im Originalbild, kante seine Größe in Bildpunkten. Der Ausschnitt wird automatisch dorthin gelegt, wo das Bild am detailreichsten ist — ein fester Mittenausschnitt trifft sonst oft Himmel oder Unschärfe und zeigt zwischen den Verfahren gar nichts.

Neu erzeugen

python samples/tests/vergleich_lauf.py --out samples/tests/<datum>_codecvergleich \
    --lambdas 0.0067,0.013,0.025
python samples/tests/vergleich_bericht.py --lauf samples/tests/<datum>_codecvergleich