Das FineBooks-Projekt von Hugging Face und EleutherAI testet 14 offene OCR-Modelle an über 2.000 historischen Buchseiten. Die Ergebnisse zeigen: Für KI-Trainingsdaten sind die Modelle bereits gut genug, für wissenschaftliche Zwecke bisher nicht ganz.
Wer offene KI-Sprachmodelle mit gemeinfreien Büchern trainieren will, hat ein Qualitätsproblem. Die Texte, die Bibliotheken vor Jahren per optischer Zeichenerkennung aus ihren Scans extrahiert haben, sind oft fehlerhaft. Wie gravierend das ist, hat das Talkie-Projekt quantifiziert: Ein Sprachmodell, das auf OCR-Text trainiert wurde, lernte nur mit 30 Prozent der Effizienz eines Modells, das dieselben Bücher als menschliche Transkription erhielt.
FineBooks, eine Zusammenarbeit zwischen Hugging Face und EleutherAI, will herausfinden, ob aktuelle offene OCR-Modelle dieses Problem lösen können. Das Team hat 14 Modelle mit offenen Gewichten an 2.165 historischen Buchseiten getestet und die Ergebnisse als Leaderboard veröffentlicht. Die besten Modelle erreichen eine Zeichengenauigkeit von über 97 Prozent bei Kosten von unter zwei Dollar pro tausend Seiten.
Drei der 2165 Ground-Truth-Seiten: einspaltiger englischer Naturkundetext, ein mehrsprachiges Inhaltsverzeichnis und eine Stichtafel, deren gesamte Transkription aus einer Zeile Künstlernachweis besteht. | Bild: FineBooks / Biodiversity Heritage LibraryMillionen gemeinfreier Seiten warten auf bessere Texterkennung
Als EleutherAI und Partner vergangenes Jahr mit Common Pile den bislang größten offen lizenzierten Trainingskorpus veröffentlichten, enthielt dieser rund 300.000 gemeinfreie Bücher mit Text aus älteren OCR-Durchläufen. Die Neuverarbeitung mit besseren Modellen sei laut den FineBooks-Autoren eine der wirkungsvollsten Verbesserungen für offene KI-Trainingsdatensätze.
Als erste Sammlung hat sich das Projekt die Biodiversity Heritage Library (BHL) vorgenommen: mehr als 300.000 digitalisierte naturgeschichtliche Dokumente mit über 64 Millionen Seiten. Die BHL stellt ihre Sammlung als Bulk-Download über AWS bereit.
Um OCR-Qualität zu messen, benötigt man Seiten mit bekannter korrekter Transkription. Das Team griff auf die Arbeit des IMPACT-Projekts und BHL-Europe zurück: Zwischen 2011 und 2012 transkribierten Experten sechs BHL-Bände in Englisch, Französisch, Deutsch und Latein mit einer Fehlerquote von etwa einem Zeichen pro 2000. Die unter CC-BY-Lizenz in einem GitHub-Repository bewahrten Daten bilden die Basis des neuen Ground-Truth-Datensatzes.
Kleine Modelle schlagen größere Konkurrenz
Alle 14 Modelle sind frei verfügbar und laufen ohne API-Schlüssel auf eigener Hardware. Gemessen wird die Character Error Rate (CER), der Anteil falsch erkannter Zeichen. Das Leaderboard unterscheidet zwischen einer diplomatischen Variante, die auch die Modernisierung archaischer Zeichen wie des langen s (ſ) als Fehler wertet, und einer Reading-Variante, die solche Anpassungen toleriert.
| dots.mocr | 3B | 97,6% | $1,94 |
| OvisOCR2 | 0,9B | 96,9% | $0,46 |
| PaddleOCR-VL-1.6 | 1B | 96,1% | $0,34 |
| olmOCR-2 | 8,3B | 95,7% | $0,45 |
| LightOnOCR-2 | 1B | 95,1% | $0,37 |
| Qwen3.5-9B | 9,7B | 94,9% | $0,89 |
| DeepSeek-OCR | 3,3B | 93,8% | $0,37 |
Das führende dots.mocr kommt mit 3 Milliarden Parametern aus, während das fast dreimal so große Qwen3.5-9B schlechter abschneidet. OvisOCR2 belegt mit nur 0,9 Milliarden Parametern den zweiten Platz bei 46 Cent pro tausend Seiten. Modellgröße und OCR-Qualität korrelieren bei historischen Dokumenten offenbar kaum.
Die Evaluation deckt ausschließlich Antiqua-Schriften in vier Sprachen ab. Über Fraktur, nicht-lateinische Schriftsysteme oder Handschrift sagt das Leaderboard nichts aus. Auch beschränkt sich FineBooks auf buchähnliche Dokumente mit einspaltigem Fließtext.
Als nächsten Schritt will das Team rund 200.000 gemeinfreie BHL-Dokumente mit einem der führenden Modelle neu verarbeiten und den Text als offenen Datensatz veröffentlichen. Neue Modelle werden laufend ins Leaderboard aufgenommen; das Evaluierungsframework steht offen zur Verfügung.
Gut genug für KI-Training, zu ungenau für die Wissenschaft
Die FineBooks-Autoren bewerten die Ergebnisse nach Einsatzzweck. Für das Training von Sprachmodellen seien die führenden Modelle ausreichend: Sie machten deutlich weniger Fehler als die älteren Pipelines, und die Neuverarbeitung einer Sammlung in BHL-Größe sei bei den gemessenen Kosten realistisch.
Komplizierter ist die Lage für Bibliotheken. Deren Systeme basieren auf ALTO XML, einem Format mit wortgenauen Koordinaten. Die neuen Modelle liefern stattdessen Markdown oder Reintext, nie mit Positionen auf Wortebene. Ein direkter Austausch ist damit nicht möglich.
Für wissenschaftliche Transkriptionen reicht die Qualität bisher nicht. Das Problem liege weniger im Fehlerlesen als im stillen Modernisieren: Die Modelle ersetzen das lange s oder Ligaturen durch moderne Entsprechungen. Gezieltes Feintuning könnte diese Schwäche laut den Autoren beheben.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
