Wenn OCR nicht reicht: Visual RAG für Dokumente

OCR hilft dabei, Text aus solchen Seiten zu erkennen. Bei sauberem Material funktioniert das oft gut. Schwieriger wird es dort, wo die Bedeutung einer Information nicht nur im Wortlaut steckt, sondern auch davon abhängt, wo etwas auf der Seite steht und wie mehrere Elemente miteinander verbunden sind.

Eine Zahl braucht oft ihre Umgebung

Eine Tabelle zeigt das Problem besonders deutlich. Ein Wert bekommt seine Bedeutung häufig erst durch die Spaltenüberschrift darüber und die Zeilenbezeichnung daneben. Wird die Seite bei der Verarbeitung einfach in einen linearen Textstrom umgewandelt, können diese Beziehungen verloren gehen, obwohl jedes einzelne Wort und jede Zahl korrekt erkannt wurden.

Dasselbe gilt für andere Dokumenttypen. Bei einem Formular kann die Position eines Eintrags entscheidend sein, bei einem technischen Plan seine Lage in der Zeichnung. Auch mehrspaltige Dokumente, Stempel oder handschriftliche Ergänzungen lassen sich nicht immer sinnvoll als bloße Folge von Textzeichen behandeln.

Das Problem liegt deshalb nicht immer in einer schlechten Zeichenerkennung. Auch korrekt erkannter Text kann fachlich unbrauchbar werden, wenn beim Umwandeln seine Struktur verloren geht.

Visual RAG verarbeitet die Seite als visuelles Dokument

Bei Visual RAG wird ein Dokument nicht ausschließlich in reinen Text umgewandelt. Die visuelle Seite selbst bleibt Teil der Verarbeitung. Dadurch können Layout, Tabellen, Diagramme und räumliche Beziehungen zwischen Elementen berücksichtigt werden.

Das ist besonders bei Unterlagen sinnvoll, die ursprünglich für Menschen und nicht für maschinelle Verarbeitung gestaltet wurden. Ein technischer Plan lässt sich nur eingeschränkt als Wortliste verstehen. Bei einem Formular kann ein Wert erst durch seine Position eindeutig werden. Visual RAG versucht, diese Beziehungen bereits beim Einlesen zu erhalten, statt sie später aus einem linearen Text wieder rekonstruieren zu müssen.

Damit ändert sich auch die Grundlage für die spätere Suche. Gesucht wird nicht nur in extrahierten Wörtern, sondern in einer Repräsentation, die mehr von der ursprünglichen Seite bewahrt.

OCR bleibt bei vielen Dokumenten die einfachere Lösung

Visual RAG ist deshalb nicht automatisch die richtige Pipeline für jedes PDF. Wenn ein Dokument bereits eine saubere Textebene besitzt oder sich mit OCR zuverlässig in strukturierten Text übertragen lässt, ist die klassische Verarbeitung häufig einfacher und schneller.

Die Entscheidung sollte vom Material abhängen:

• Sauberer Fließtext: klassische Textextraktion ist meist ausreichend.
• Gut lesbarer Scan ohne komplexes Layout: OCR kann genügen.
• Tabellen, Formulare oder mehrspaltige Seiten: Struktur sollte beim Einlesen erhalten bleiben.
• Pläne und visuell aufgebaute Unterlagen: eine bildbasierte Verarbeitung kann sinnvoller sein.

Ein historisch gewachsener Dokumentenbestand sollte deshalb nicht automatisch vollständig durch dieselbe Pipeline geschickt werden. Ein Vertrag mit klarer Textebene stellt andere Anforderungen als ein alter Bauplan oder eine eingescannte Tabelle.

Die Fundstelle gehört zur Antwort

Bei schlecht durchsuchbaren Dokumenten ist nicht nur wichtig, ob das System eine richtige Antwort liefert. Der Nutzer sollte auch nachvollziehen können, wo diese Information im Original steht.

Ein Verweis auf das gesamte PDF hilft wenig, wenn die relevante Passage auf Seite 37 in einer Tabelle steckt. Sinnvoller ist ein Bezug auf die konkrete Seite oder Fundstelle, damit die Antwort direkt überprüft werden kann. Gerade bei Scans spart das im Alltag viel Zeit, weil der Nutzer nicht erneut das vollständige Dokument durchsuchen muss.

Für ein Wissenssystem gehört diese Rückverfolgbarkeit deshalb zur technischen Verarbeitung und nicht nur zur Darstellung in der Oberfläche.

Bilderkennung wird bei alten Dokumentbeständen schnell praktisch

Bei yoorda wird beispielsweise eine fotografierte Speisekarte per Bilderkennung eingelesen und anschließend strukturiert weiterverarbeitet und übersetzt. Der Anwendungsfall ist ein anderer, die technische Ausgangslage aber vergleichbar: Informationen liegen zunächst als Bild vor und müssen daraus in eine maschinell nutzbare Struktur überführt werden.

Bei Wissenssystemen kommt die Suche über viele solcher Dokumente hinzu. Neben der Erkennung selbst muss deshalb geklärt werden, wie Seiten strukturiert, indexiert und später wieder als konkrete Quelle angezeigt werden.

Ein Scan im digitalen Archiv ist noch kein gut erschlossener Wissensbestand. Entscheidend ist, wie viel von seiner ursprünglichen Struktur bei der Verarbeitung erhalten bleibt.

Häufige Fragen

Brauche ich Visual RAG für alle meine PDFs?

Nein. Dokumente mit sauberer Textebene und gut lesbare Scans ohne komplexes Layout lassen sich mit Textextraktion oder OCR meist einfacher verarbeiten. Visual RAG lohnt sich vor allem bei Tabellen, Formularen, mehrspaltigen Seiten und Plänen.

Woran erkenne ich, dass OCR bei meinen Dokumenten nicht reicht?

Ein Hinweis ist, wenn der erkannte Text stimmt, die Antworten Werte aber falschen Zeilen, Spalten oder Feldern zuordnen. Das passiert vor allem dort, wo die Bedeutung einer Information von ihrer Position auf der Seite abhängt.

Kann ich eine Antwort im Originaldokument nachprüfen?

Ja, wenn das System die Fundstelle mitliefert. Ein gutes Wissenssystem verweist auf die konkrete Seite im Original, damit sich die Antwort ohne erneute Suche im ganzen Dokument überprüfen lässt.

Du möchtest wissen, ob deine Scans mit Texterkennung auskommen oder eine bildbasierte Verarbeitung brauchen? Wir testen das an einer Auswahl deiner Dokumente. Sprich mit uns.