Was öffentliche Daten erst über die Zeit verraten

Wer Veränderungen nachvollziehen will, braucht deshalb mehr als den Zugriff auf die Quelle. Er braucht eine eigene Zeitachse.

Der aktuelle Stand enthält seine Vergangenheit nicht automatisch

Bei Registern, Bekanntmachungen oder laufend aktualisierten Datensätzen kann es sinnvoll sein, in festen Abständen vollständige Snapshots zu speichern. Erst daraus lässt sich später erkennen, welche Einträge neu hinzugekommen sind, welche verändert wurden und welche verschwunden sind.

Eine normale Suchabfrage kann diese Vergangenheit nicht rekonstruieren, wenn die Quelle selbst keine Historie bereitstellt. Öffentliche Verfügbarkeit beantwortet also nur die Frage, was jetzt sichtbar ist. Für einen späteren Vergleich muss der frühere Zustand erhalten geblieben sein.

Technisch ist das Speichern solcher Zustände meist nicht der schwierigste Teil. Anspruchsvoller wird die Frage, welche Unterschiede später tatsächlich relevant sind.

Nicht jede Änderung verdient eine Meldung

Zwei Versionen einer Seite oder eines Datensatzes miteinander zu vergleichen, ist grundsätzlich einfach. Eine Abweichung kann allerdings ganz unterschiedliche Ursachen haben. Ein Tippfehler, ein neues Datum oder eine Layoutänderung erzeugen ebenso einen Unterschied wie eine fachlich relevante Änderung.

Wenn ein System jede Abweichung meldet, entsteht schnell zu viel Rauschen. Ein brauchbares Monitoring braucht deshalb eine Definition dessen, was für den jeweiligen Anwendungsfall als relevantes Signal gilt. Je nach Quelle kann das über feste Regeln, strukturierte Vergleiche oder semantische Verfahren geschehen.

Bei strukturierten Daten lässt sich beispielsweise gezielt prüfen, ob sich ein bestimmtes Feld verändert hat. Bei unstrukturierten Bekanntmachungen kann dagegen der Inhalt wichtiger sein als eine technische Änderung an HTML oder Layout.

Die eigentliche Aufgabe besteht nicht darin, Unterschiede zu finden, sondern relevante Unterschiede zuverlässig von belanglosen zu trennen.

Bekannte Veränderungen eignen sich als Testfälle

Eine Änderungserkennung lässt sich am besten mit Fällen prüfen, bei denen die Antwort bereits bekannt ist. Gibt es aus der Vergangenheit eine wichtige Änderung, kann das Verfahren rückwirkend auf die gespeicherten Zustände angewendet werden.

Wird die Veränderung zuverlässig erkannt, gibt es einen belastbaren Testfall für das Monitoring. Wird sie übersehen, lässt sich die Logik gezielt nachschärfen. Das ist aussagekräftiger als eine Demonstration, die lediglich zeigt, dass zwei Seiten technisch voneinander abweichen.

Für ein solches System sind deshalb einige bekannte Fälle besonders wertvoll:

• eine tatsächlich relevante Änderung, die erkannt werden muss
• eine harmlose redaktionelle Änderung, die möglichst keine Meldung erzeugen soll
• ein verschwundener Eintrag
• ein neuer oder geänderter Status

Mit solchen Beispielen lässt sich prüfen, ob das Monitoring das gewünschte Signal liefert und wie viel unnötiges Rauschen entsteht.

Gespeicherte Zustände machen neue Fragen möglich

Sobald frühere Versionen vorhanden sind, lassen sich Fragen beantworten, die mit einer reinen Momentaufnahme nicht zugänglich wären. War ein bestimmter Eintrag früher vorhanden? Seit wann fehlt er? Wann hat sich ein Status verändert? Wie lange blieb eine bestimmte Fassung unverändert?

Dafür braucht es keinen zusätzlichen öffentlichen Datensatz. Es ist dieselbe Quelle, ergänzt um eine selbst aufgebaute Historie. Das Prinzip lässt sich unter anderem auf Förderrichtlinien, Ausschreibungen, Bekanntmachungen, Normen, Preislisten oder öffentliche Register übertragen.

Dabei wächst der Wert der Daten mit der Zeit. Ein einzelner Snapshot sagt zunächst wenig mehr aus als die ursprüngliche Quelle. Erst mehrere gespeicherte Zustände bilden eine Zeitreihe, aus der Veränderungen zuverlässig abgeleitet werden können.

Öffentliche Berechnungen lassen sich teilweise nachvollziehen

Mit offenen Rohdaten lässt sich in manchen Fällen noch ein weiterer Schritt gehen. Wenn eine Institution daraus eine Kennzahl oder Schätzung ableitet und die Berechnung nachvollziehbar ist, kann dieselbe Auswertung mit denselben Ausgangsdaten erneut durchgeführt werden.

Dadurch werden öffentliche Daten nicht nur beobachtbar, sondern in bestimmten Fällen auch überprüfbar. Gerade bei größeren Datenbeständen ist das praktisch, weil eine manuelle Kontrolle schnell an Grenzen stößt.

Ob eine solche Nachrechnung möglich ist, hängt allerdings davon ab, welche Rohdaten und Methoden veröffentlicht werden. Fehlen wesentliche Angaben, lässt sich das Ergebnis nicht allein aus dem sichtbaren Endwert rekonstruieren.

Am Anfang sollte klar sein, welches Signal gesucht wird

Wer öffentliche Daten regelmäßig beobachtet, sollte deshalb zuerst festlegen, welche Veränderung später eine Handlung auslösen soll. Erst danach lässt sich sinnvoll entscheiden, wie oft Snapshots gespeichert werden, welche Felder oder Textstellen verglichen werden und welche Unterschiede ignoriert werden können.

Der technische Download ist nur die Grundlage. Nützlich wird die Historie erst durch eine klare Definition dessen, was im Zeitverlauf beobachtet werden soll.

Damit entsteht aus einer öffentlichen Quelle ein eigener Datenbestand, der nicht nur zeigt, was heute gilt, sondern auch, wie sich dieser Zustand verändert hat.

Häufige Fragen

Warum kann ich frühere Stände nicht einfach bei der Quelle abfragen?

Viele öffentliche Systeme veröffentlichen nur den aktuellen Zustand und führen keine abrufbare Historie. Frühere Stände gibt es nur, wenn sie selbst in regelmäßigen Abständen gespeichert wurden.

Wie oft sollte ich eine Quelle speichern?

Das hängt davon ab, wie schnell sich die Quelle ändert und wie früh eine Änderung bemerkt werden soll. Deshalb wird zuerst festgelegt, welches Signal gesucht wird, und danach der Abstand der Snapshots.

Wie vermeide ich zu viele unnötige Meldungen?

Indem vorher festgelegt wird, welche Änderung für den jeweiligen Zweck relevant ist. Bekannte Fälle aus der Vergangenheit, auch harmlose redaktionelle Änderungen, eignen sich als Testfälle für diese Unterscheidung.

Du möchtest eine öffentliche Quelle regelmäßig beobachten und nur bei relevanten Änderungen informiert werden? Wir legen mit dir fest, welches Signal gesucht wird, und bauen die Beobachtung darauf auf. Sprich mit uns.