„Comma-Separated Values (CSV) ist eines der vielseitigsten und benutzerfreundlichsten Datenformate. Es ist ein einfaches Datenformat, das es Entwicklern und Anwendungen ermöglicht, Daten von einer Quelle zur anderen zu übertragen und zu analysieren.
CSV-Daten speichern Daten in einem tabellarischen Format, in dem jede Spalte durch ein Komma getrennt ist und ein neuer Datensatz einer neuen Zeile zugewiesen wird. Dies macht es zu einer sehr guten Wahl für den Export von Datenbanken wie SQL-Datenbanken, Cassandra-Daten und mehr.
Es ist daher keine Überraschung, dass Sie auf ein Szenario stoßen, in dem Sie eine CSV-Datei in Ihre Datenbank importieren müssen.
Das Ziel dieses Tutorials ist es, Ihnen eine schnelle und einfache Methode zum Importieren einer CSV-Datei in Ihren Elasticsearch-Cluster mit dem Kibana-Dashboard zu zeigen.“
Lassen Sie uns einsteigen.
Anforderungen
Stellen Sie vor dem Eintauchen sicher, dass Sie die folgenden Anforderungen erfüllen:
- Ein Elasticsearch-Cluster mit grünem Integritätsstatus.
- Mit Ihrem Elasticsearch-Cluster verbundener Kibana-Server.
- Ausreichende Berechtigungen zum Verwalten von Indizes in Ihrem Cluster.
Beispiel-CSV-Datei
Wie üblich ist die erste Voraussetzung Ihre Quell-CSV-Datei. Stellen Sie sicher, dass die Daten in Ihrer CSV-Datei gut formatiert sind und keine Fehler enthalten.
Zur Veranschaulichung verwenden wir einen kostenlosen Datensatz, der Filme und Fernsehsendungen von Amazon Prime enthält.
Öffnen Sie Ihren Browser und navigieren Sie zur folgenden Ressource:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Befolgen Sie das Verfahren, um das Dataset auf Ihren lokalen Computer herunterzuladen. Sie können das heruntergeladene Archiv mit dem Befehl extrahieren:
$ entpacken ein~ / Downloads / Archiv.zip
CSV-Datei importieren
Sobald Sie Ihre Quelldatei fertig haben, können wir fortfahren und besprechen, wie sie importiert werden kann.
Beginnen Sie, indem Sie zu Ihrem Kibana Home-Dashboard gehen und die Option „Datei hochladen“ auswählen.
Suchen Sie die Ziel-CSV-Datei, die Sie importieren möchten, im Launcher-Fenster.
Wählen Sie Ihre Quelldatei aus und klicken Sie auf Hochladen.
Lassen Sie Elasticsearch und Kibana die hochgeladene Datei analysieren. Dadurch wird die CSV-Datei analysiert und das Datenformat, Felder, Datentypen usw. bestimmt.
HINWEIS: Abhängig von Ihrer Cluster-Konfiguration und der Datengröße kann dieser Vorgang eine Weile dauern. Stellen Sie sicher, dass der Master-Knoten antwortet, um Zeitüberschreitungen zu vermeiden.
Sobald der Vorgang abgeschlossen ist, sollten Sie eine Stichprobe Ihres Dateiinhalts und der Dateistatistiken erhalten, wie sie von Elastic analysiert wurden.
Sie können zahlreiche Parameter anpassen, z. B. Trennzeichen, Header-Zeilen usw. Beispielsweise können wir die obige Ausgabe anpassen, um Elastic mitzuteilen, dass unsere CSV-Datei Header-Dateien enthält.
Wir können dann auf Anwenden klicken und die Daten erneut analysieren. Dadurch sollten die Daten einschließlich der Felder im richtigen Format formatiert werden.
Als nächstes können wir auf Importieren klicken, um zum importierten Dashboard zu gelangen.
Hier müssen wir einen Index erstellen, in dem die CSV-Daten gespeichert werden. Sie können Ihrem Index jeden unterstützten Namen zuweisen.
Wenn Sie Ihre Indexeigenschaften anpassen möchten, z. B. die Anzahl der Shards, Replikate, Zuordnungen usw., wählen Sie die erweiterte Option und optimieren Sie Ihre Einstellungen nach Herzenslust.
Klicken Sie schließlich auf „Importieren“ und beobachten Sie, wie Kibana seine „Magie“ vollbringt. Nach Abschluss können Sie entweder über die Elasticsearch-API auf Ihren Index zugreifen oder das Kibana-Dashboard verwenden.
Und du bist fertig!!
Fazit
In diesem Beitrag haben wir den Prozess des Abrufens und Importierens Ihres CSV-Datensatzes in Ihren Elasticsearch-Cluster mithilfe des Kibana-Dashboards behandelt.
Danke fürs Lesen und viel Spaß beim Programmieren!!