Strukturierung und Visualisierung von historischen Daten

Kurz erklärt: Was macht diese Anwendung?

  1. Textanalyse: Finden Sie automatisch wichtige Informationen in historische Zeitungsartikeln mit Hilfe eines kleinen Sprachmodells.
  2. Textorganisaton: Organisieren Sie historische Daten zu strukturierten, analysierbaren Informationen.
  3. Visualisierung: Visualisieren Sie gefunden Orte auf einer Karte.

In dieser Unterrichtseinheit befassen wir uns mit der Strukturierung unstrukturierter historischer Texte und der Visualisierung von extrahierten Daten auf Karten. Die systematische Strukturierung von Daten wird mit einem für Informationsextrahierung trainiertem Sprachmodell durchgeführt, das auf der Question-Answering-Methode basiert. Diese Methode erlaubt es, Informationen mit Hilfe einer Frage zu extrahieren, wie etwa „Wo fand das Erdbeben statt"? Dies ermöglicht die Extrahierung des Ortes, an dem ein Erdbeben stattfand, auch wenn im Text selbst noch andere Orte genannt werden.

Beispiel einer Textanalyse

Die Katastrophe in Japan — 3 Millionen Tote. Mtb. London, 4. Sept. (Drahtbericht.) Zu dem Unglück in Japan liegen noch folgende Nachrichten vor: Wie die japanische Gesandtschaft in Peking meldet, sind Unterhandlungen mit China über die sofortige Lieferung von Lebensmitteln ausgenommen worden. Von Peking seien amerikanische, englische und italienische Schiffe mit Lebensmitteln nach Japan abgegangen.
Ort des Erdbebens: Japan
Andere Orte: London, Peking, China

Methodik: Vom unstrukturierten Text zur strukturierten Information

Die grundlegende Herausforderung bei der Arbeit mit historischen Quellen ist, dass relevante Informationen in langen Fließtexten eingebettet sind und manuell mühsam extrahiert werden müssen. Dieser Ansatz automatisiert diesen Prozess.

Wie funktioniert die Informationsextraktion?

  1. Template-Definition: Sie definieren ein JSON-Template mit den Informationstypen, die Sie extrahieren möchten: 
    {"What are the earthquake locations": "", "What is the place name in the dateline": ""}
  2. Question-Answering-Methode: Das Sprachmodell füllt die Lehren Felder mit den Antwortn auf die Frage:
    • "What are the earthquake locations": "" → "Japan"
    • "What is the place name in the dateline": "" → "Paris"
  3. Sprachmodell-Verarbeitung: Das NuExtract-1.5 Modell (ein Sequence-to-Sequence Transformer) analysiert den Text vollständig und identifiziert die relevanten Informationen für jedes Template-Feld.
  4. Strukturierte Ausgabe: Das Modell füllt das Template mit den extrahierten Informationen: 
    {"What are the earthquake locations": "Japan, Yokohama", "What is the place name in the dateline": "Tokio"}

Technische Funktionsweise des Sprachmodells

Intern erfolgt die Verarbeitung in mehreren Schritten:

  1. Tokenisierung: Der Text wird in bearbeitbare Einheiten zerlegt.
  2. Kontextuelle Analyse: Der Transformer-Mechanismus ermöglicht die Analyse von Beziehungen zwischen allen Textteilen gleichzeitig.
  3. Selektive Aufmerksamkeit: Das Modell fokussiert sich auf Textpassagen, die Antworten auf die impliziten Fragen enthalten könnten.
  4. Generierung: Die erkannten Informationen werden in das vorgegebene Template eingefügt.

Mapping

Nach der Extraktion der Ortsangaben ermöglicht unsere Anwendung die automatische Visualisierung dieser Daten auf einer interaktiven Karte:

  1. Geokodierung: Die extrahierten Ortsnamen werden mittels eines geografischen Dienstes in geografische Koordinaten (Längen- und Breitengrade) umgewandelt.
  2. Kartenerstellung: Die Koordinaten werden auf einer interaktiven Karte platziert, wobei jeder Ort durch einen Marker dargestellt wird.
  3. Kontextinformationen: Beim Klick auf einen Marker werden zusätzliche Informationen aus dem Originaltext angezeigt.
  4. Räumliche Analyse: Die Karte ermöglicht die visuelle Analyse der räumlichen Verteilung historischer Ereignisse.

Dieser kombinierte Ansatz aus Textextraktion und geografischer Visualisierung eröffnet neue Möglichkeiten für die räumliche Analyse historischer Quellen und erlaubt es, geografische Muster zu erkennen, die in den reinen Textdaten nicht unmittelbar sichtbar wären.

Diese Methode ermöglicht die effiziente Extraktion und Visualisierung historischer Daten aus unstrukturierten Quellen.

Extrahieren Sie strukturierte Daten aus unstrukturiertem Text

Verwenden Sie das Sprachmodell NuExtract-1.5 um automatisch Informationen zu extrahieren.

Earthquake_Japan_Places .xlsx 68.1 KB ⇣

Zeitungsartikel

WTB Tokio, 7. Sept. Nachdem infolge Verkündigung des Kriegsrechts General Fukuda den Beschluss über die Stadt übernommen hat, ist die Ordnung im Innern wieder so gut wie hergestellt. Lebensmittelvorräte treffen aus den verschiedensten Gegenden ein. Plünderer werden auf der Stelle standrechtlich erschossen — Die Land- und Seezone, die von dem Erdbeben heimgesucht wurde, hat Jokohama zum Zentrum. Sie erstreckt sich über 130 Kilometer von Norden nach Süden und in der Richtung von Osten nach Westen über 450 Kilometer. Im ganzen sind etwa 500000 Quadratkilometer javanischen Bodens vom Erdbeben betroffen worden. Dieses Gebiet umfaßt 5 Großstädte, 10 Landratsämter, sowie 132 Unterverwaltungen. Ihre Bewohnerzahl ist 9 Millionen. 70 Prozent der Städte, Ortschaften und Dörfer sind verwüstet.
Erdbeben und Politik (Von unserem ständigen Pariser Vertreter) —t. Paris, 4, Sept. 3n Pariser maßgebenden Kreisen beschäftigt man sich gegen wärtig neben der durch Italiens Ansprüche hervorgerufenen Kri sis des Völkerbundes, die schon in ihrem heutigen Stadium Nicht ohne dauernde Foiligen zu bleiben scheint, in erster Linie mit den politischen Auswirkungen der entsetzlichen Naturkatastrophe, die die Weltgeschichte kennt: des Erdbebens in Japan. Die An sicht dieser Kreise, die besonders über die Vorgänge in London stets genau unterrichtet zu sein pflögen, läßt sich ungefähr in folgen der Weise wiedergeben: «Es ist eine bekannte Tatsache, daß Japan eines der ersten Opfer wurde, als die Wirtschafts- und Finanzkrisis nach der Hoch konjunktur des Krieges mit voller Wucht auf der ganzen Erde, und gerade bei den bis jetzt bevorzugten Staaten, einsehte. Wer die M- rüstungskonferenz in Washington miterlobt hat, dem sind gewisse Dinge l>ekannt, die damals in Japan viel böses Mut erregten, ob schon sie nur die direkte, politische Auswirkung wetten der finan ziellen Schwierigkeiten, -die dem Inselreich bereits einmal die Früchte eines teuer erkauften Sieges entrissen hatten
Neues Erdbeben in Japan. w. London, 16. Januar. (Drahtdertcht.) Reuter mewet aus Osaka: Die telephonische und telegra» phische Verbindung zwischen Tokio und Osaka ist gestern morgen 5.45 Uhr durch ein Erdbeben unterbrochen worden. Die Trambahn in Tokio liegt still. Der Eisenbahnverkehr zwischen Tokio und Yokohama ist unterbrochen. Die königliche Familie ist in Sicherheit. In Lugamo, einer Dor« stadt Tokios, sind Brände ausgebrochen. Eia Elsenbahnzug siürzle in einen Flutz. Aus Tokio wird weiter gemeldet, daß bei dem Erdbeben in Osaka sechs Personen getötet und 22 verwundet, in Tokio vier getötet und 20 verletzt wurden. In Yokohama sind 600 Häuser zerstört worden.
Englische Zeitungen sagen in einer Besprechung der Folgen des japanischen Erdbebens für Japan, daß Japan durch diese Katastrophe ein armes Land geworden ist; die Aufschwung im wirtschaftlichen Leben der Völker, seine beginnende Verdrängung der amerikanischen und englischen Konkurrenz, sind nicht mehr. Auch die Ausdehnungsbemühungen Japans gegenüber China, die in den letzten Jahren unterblieben, dann Japan wird alle Kräfte zum Wiederaufbau seines Landes brauchen. 13 große Städte sind zerstört. Alle großen Industrieanlagen um Tokyo sind vernichtet. Ein paar Minuten genügten, um Japan aus den Reihen der Großmächte der Welt auszuschalten. Ein einziger Ruck ging durch die Erde und Japans Weltstellung erfuhr einen bedeutenden Stoß. Japan steht mit einem Male wieder vor der Lehre des Jahres 1914 zurückgeworfen. Es scheidet als Konkurrent auf dem Weltmarkt für gemume Zeit aus und büßt, was noch erheblich schwerer wiegt, die finanzielle Unabhängigkeit, die es sich im Kriege erlangt hatte, vollkommen ein.
Die politischen Folgen der japanischen Erdbebenkatastrophe. Rückwirkungen auf di « ganz « Welt. Paris, 5. Sept. Die französische Presse hat es bisher vermieden, auf die politischen Folgen der japanischen Erdbebenkatastrophe hinzuweisen. Heute berührt die Iournee Industrielle diese wichtige Frag «. Das Blatt führt aus: Die ganze Welt werde die wirtschaftlichen und politischen Rückwirkungen des Anglücks spüren. Japan werde durch den Wiederaufbau gezwungen sein, die ganz « Kraft auf dag eigene Land zu konzentrieren

Made with ❤ for historical research