CSV-Import und Export planen: Daten kontrolliert übertragen

Ein Lieferant stellt Artikeldaten als CSV bereit. Ihre Anwendung soll daraus Produktbezeichnungen, Kennungen und bestimmte Eigenschaften übernehmen. Die Datei lässt sich in einem Tabellenprogramm öffnen. Trotzdem ist offen, ob fehlende Zeilen Produkte löschen, leere Zellen bestehende Angaben entfernen und erneut gelieferte Zeilen neue Datensätze anlegen sollen.

CSV bedeutet Comma-Separated Values. Das Format beschreibt tabellarische Daten als Text. In der Praxis begegnen Ihnen unterschiedliche Trennzeichen, Zeichencodierungen und Konventionen. RFC 4180 dokumentiert ein verbreitetes Format und den Medientyp text/csv; es ist eine informative Beschreibung aus 2005. Der Dateiname allein legt die tatsächlichen Vereinbarungen Ihrer Systeme nicht fest.

Ein Import liest Daten in ein Zielsystem ein. Ein Export stellt Daten für einen anderen Empfänger bereit. Beide Aufgaben brauchen ein vollständiges Ziel: „Freigegebene Artikelangaben des Lieferanten aktualisieren die zugeordneten Produkte; lokale Beschreibungstexte bleiben erhalten.“ So wird deutlich, welche Daten übertragen und welche nicht verändert werden sollen.

Klären Sie, ob die Datei einen vollständigen Bestand oder nur Änderungen enthält. Das Fehlen einer Zeile in einer Änderungsdatei bedeutet normalerweise nicht dieselbe fachliche Aussage wie das Fehlen in einer ausdrücklich vereinbarten vollständigen Bestandsmeldung. Eine Löschwirkung muss gesondert beschrieben und geprüft werden.

Erstellen Sie eine Spaltenliste mit Quellname, Zielangabe, Typ, Beispielwert und Behandlung eines fehlenden Werts. Benennen Sie Pflichtfelder und zulässige Werte. Eine unbekannte zusätzliche Spalte darf nicht automatisch in irgendein ähnlich benanntes Feld übernommen werden. Der Import braucht eine bekannte Regel für neue oder umbenannte Spalten.

Die Kennung ordnet eine Zeile einem Zielobjekt zu. Prüfen Sie, ob sie im vereinbarten Quellbestand eindeutig ist und dauerhaft dieselbe Sache bezeichnet. Eine Produktbezeichnung allein ist meist keine geeignete Zuordnung: Sie kann sich ändern oder bei verschiedenen Artikeln gleich sein. Wenn mehrere Lieferanten denselben Kennungsraum verwenden, muss auch die Herkunft berücksichtigt werden.

Vereinbaren Sie den Unterschied zwischen Anlegen und Aktualisieren. Ein vorhandener Datensatz kann nur ausgewählte Angaben aus der Quelle übernehmen. Lokal gepflegte Inhalte bleiben nach dieser Regel erhalten. Eine solche Zuständigkeit sollte je Feld feststehen. Eine allgemeine Option „bestehende Daten überschreiben“ ist bei unterschiedlichen Verantwortlichkeiten zu grob.

Unterscheiden Sie außerdem „leer“, „nicht geliefert“ und einen tatsächlich gültigen Nullwert. Eine leere Preiszelle ist nicht automatisch ein Preis von null. Eine fehlende Spalte ist nicht automatisch ein Auftrag, alle bisherigen Werte zu löschen. Wenn der Lieferant keine eindeutige Regel hat, bleibt dieser Punkt vor dem produktiven Schreiben offen.

Ein Probelauf liest und prüft die Datei, ordnet sie dem Zielbestand zu und zeigt geplante Änderungen. Er soll im vereinbarten Umfang keine produktiven Daten oder nachgelagerten Vorgänge verändern. Diese Eigenschaft muss technisch geprüft werden. Ein Schalter mit der Aufschrift „Vorschau“ beweist sie noch nicht.

Der Bericht kann neue, geänderte, unveränderte und abgewiesene Datensätze getrennt zählen. Ergänzen Sie wichtige Einzelbeispiele. Eine reine Gesamtzahl „100 Zeilen verarbeitet“ lässt nicht erkennen, ob die erwarteten Angaben übernommen oder unerwünschte Daten gelöscht würden. Besonders großflächige Änderungen verdienen eine gezielte Sichtkontrolle vor der Freigabe.

Prüfen Sie die erneute Verarbeitung derselben Datei. Soll sie keine zusätzlichen Datensätze erzeugen? Soll ein bereits übernommener Lauf erkannt und abgewiesen werden? Oder dürfen aktualisierte Inhalte unter derselben Dateibezeichnung erneut importiert werden? Diese Unterschiede lassen sich über einen bekannten Lauf und stabile Datensatzzuordnungen behandeln, brauchen aber eine bewusste Regel.

Planen Sie auch eine Unterbrechung während des Schreibens. Ein vollständiges Zurücksetzen ist nicht bei jeder Architektur oder externen Nebenwirkung möglich. Die Lösung kann einen dokumentierten Rückweg oder einen sicheren Fortsetzungs- und Abgleichweg benötigen. Übernommene Daten und bereits ausgelöste Nachrichten sind dabei unterschiedliche Auswirkungen.

Nach dem produktiven Lauf kontrollieren Sie das Ergebnis im Zielsystem. Stimmen Anzahl, ausgewählte Felder und Zuordnungen? Sind offene Zeilen bearbeitbar? Eine syntaktisch erfolgreiche Verarbeitung ersetzt diese Kontrolle nicht. Erst der gewünschte Zielzustand beantwortet, ob die Übertragung ihren Zweck erfüllt hat.

Ein fiktiver Fachbetrieb übernimmt Lieferantenangaben in eine interne Artikelliste. Der erste Umfang umfasst Kennung, Kurzbezeichnung und Packungsgröße. Eigene Notizen werden nicht geändert. Fehlende Artikel in der Datei werden nicht gelöscht. Diese Begrenzung hält den Pilotlauf überschaubar und schützt bewusst getrennte Angaben.

Der Probelauf verwendet auch einen Text mit Trennzeichen, einen erlaubten mehrzeiligen Inhalt und eine fehlerhafte Zeile. So wird nicht nur eine besonders einfache Probe geprüft. Ergänzen Sie einen größeren synthetischen Bestand, wenn Laufzeit und Dateigrößen zum Auftrag gehören. Die konkreten Grenzen richten sich nach der Umgebung.

Ruhrstack entwickelt laut Leistungsseite Entwicklung Scripts für Datenaufbereitung und Exporte mit vereinbarten Probeläufen und Fehlerhinweisen. Für die Vorbereitung helfen eine anonymisierte Originaldatei, die gewünschte Feldzuordnung und der erwartete Zielzustand. Bei wiederkehrender Ausführung ergänzt Scripts und Automatisierung planen die Fragen zu Auslöser, Betrieb und Zuständigkeit.