Backup und Restore der Influx Datenbank

PDF Dokumente für Informationen im Detail, sowie Bauanleitungen.

Moderatoren: Ulrich, TeamO

PV-Wolf
Beiträge: 19
Registriert: Sa 16. Mai 2020, 19:49
Hat sich bedankt: 3 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von PV-Wolf »

Es ist alles nicht so einfach:

Geschafft habe ich: sudo influxd backup -portable -database solaranzeige /tmp/solaranzeige_backup

Sehe ich aber auch nur, wenn ich mich als root anmelde :roll:

Darin finde ich dann u.a. eine Datei mit dem Namen: 20220530T093251Z.s17.tar.gz - Der Name enthält vermutlich das Tagesdatum.

Darin ein Verzeichnis: Solaranzeige\autogen\17 und die Datei: 000000001-000000001.tsm !

Ist dies die Sicherungsdatei der InfluxdB ?

Dann würde ich o.g. sudo Befehl zunächst einmal wöchentlich händisch ausführen, da ich am USB Stick mounten der Fritz!Bos scheitere.

Spannend wäre dann zu wissen, wie ich die Daten wieder zurück kopieren kann ?!?!
Cheers
Eckhard

andreas_n
Beiträge: 1313
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 22 Mal
Danksagung erhalten: 82 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

PV-Wolf hat geschrieben:
Mo 30. Mai 2022, 15:44
da ich am USB Stick mounten der Fritz!Bos scheitere.
schaust du da mal,

https://www.andwil.de/weblog/linux-frit ... unten-cifs

gruss
SMA Tripower 8 / Growatt MIN 3000 TL-XE / ELWA DC WW 300L / Growatt SPH 4600 an 4 ARK LV , 20,5kWp / 10kWh

limatango
Beiträge: 27
Registriert: Di 8. Nov 2022, 10:27
Hat sich bedankt: 11 Mal
Danksagung erhalten: 3 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von limatango »

Guten Tag zusammen.

Ich habe zwecks stündlicher Sicherung der Datenbank einen Backup-Ordner auf meiner Synology eingerichtet und mittels nfs und fstab auf dem Raspi gemountet.
Über cronjob wird dann stündlich das Backup der drei Datenbanken "master", "slave" und "solaranzeige" erstellt.
Das funktioniert soweit auch gut.
Allerdings musste ich feststellen, dass bei der Datenbank "master" eine Datei mehr erstellt wird als bei den anderen beiden.
Es wird jeweils eine .manifest, eine .meta und eine .tar.gz erstellt.
Nur bei der Datenbank "master" wird eine zusätzliche .tar.gz erstellt.

Womit könnte das zusammenhängen?

TeamO
Beiträge: 1138
Registriert: Mo 22. Jun 2020, 08:58
Wohnort: Ulm / Neu-Ulm
Hat sich bedankt: 23 Mal
Danksagung erhalten: 225 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von TeamO »

Das liegt an der Größe der zu sichernden Datenbank. Bei mir werden aktuell in der Hauptdatenbank 137 X.tar.gz Dateien erstellt.
Gruß Timo

Auflistung Geräte/Dashboards/Anschlussart
Datenbankfelder der einzelnen Geräte
GANZ WICHTIG: Überblick der vorhandenen Anleitungen

Fertige Komplett-Systeme gibt es hier anfragen[AT]bauer-timo[.]de

Tibber Invite (100% Öko-Strom + 50€ Bonus)

limatango
Beiträge: 27
Registriert: Di 8. Nov 2022, 10:27
Hat sich bedankt: 11 Mal
Danksagung erhalten: 3 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von limatango »

Danke schön.
Gut zu wissen.
Hatte eher erwartet, dass die einzelnen Dateien größer wären.

Wie verhält es sich bei der Wiederherstellung, wenn ich so viele Einzeldateien habe?

TeamO
Beiträge: 1138
Registriert: Mo 22. Jun 2020, 08:58
Wohnort: Ulm / Neu-Ulm
Hat sich bedankt: 23 Mal
Danksagung erhalten: 225 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von TeamO »

Das macht nichts aus
Gruß Timo

Auflistung Geräte/Dashboards/Anschlussart
Datenbankfelder der einzelnen Geräte
GANZ WICHTIG: Überblick der vorhandenen Anleitungen

Fertige Komplett-Systeme gibt es hier anfragen[AT]bauer-timo[.]de

Tibber Invite (100% Öko-Strom + 50€ Bonus)

olabre
Beiträge: 20
Registriert: Mi 24. Feb 2021, 16:53
Hat sich bedankt: 1 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von olabre »

ich kann nur jedem raten auf eine SSD zu wechseln. Die Stabilität der SD Karten ist bekanntermaßen beschränkt. Ich habe jetzt nach ca. einem Jahr SD Karte die Situation, dass nach einem normalen InfluxDB Backup Daten fehlen. Im Backup sind sie noch da - in der DB selber fehlen teilweise mehrere Monate. Dies kann/muss mit der SD Karte zu tun haben. Auf meinem neuen System mit SSD klappt das Backup sehr gut. Das Restore der Daten klappt gemäß Anleitung in eine parallel DB und dem folgenden Abgleich per SQL Befehl.

auf der Bash:
influxd restore -portable \
-db example-db \
-newdb example-new-db \
/path/to/backup-directory

gefolgt von im InfluxDB Prompt:

SELECT *
INTO "example-db".autogen.:MEASUREMENT
FROM "example-tmp-db".autogen./.*/ GROUP BY *

So tut es bei mir auf jeden Fall. Meine Backups sind aber leider trotzdem nicht vollständig, sodass auch meine Statistik nicht vollständig ist. Das ist dann blöd, wenn man mal Auswertungen fahren will.
Ich backupe in einen Mount meiner Synology.

Olaf

P.S. Da die Dashboard vom Grafana auch im Influx liegen, sind diese dann auch weg. Ich backupe die Dashboard parallel per json File. Scripte dazu gibt es ausreichend.

andreas_n
Beiträge: 1313
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 22 Mal
Danksagung erhalten: 82 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

Moin Olaf,

der Pi auf SSD tuts schon, SD hält nicht, ich hab aber andere Anwendungen, wo ein pi2 als Heizungsüberwachung mit SD/USB Stick schon seit zig Jahren durchläuft.Jeden Tag einmal rebootet.Bei Bekannten läuft ein pi2 mit 64er SD als "Briefkastenmonitor" und speichert alle paar sek ein Bild, auch ohne Fehler

Was mir nach fast 3 Jahren Solaranzeige ,und damit pi4, auffällt ist eigenartig. Hab neulich erst wieder einen satten Absturz gehabt, wo der pi samt SSD nicht mehr ansprechbar war und auch nach mehrmaligem Reboot und Stecker raus..nicht mehr wollte...zu guter Letzt kam dann im Browser auch keine IP mehr sondern die MAC Adresse raus.. :shock:
ich hab für solche "Launen" einen Reserve Pi samt SSD da liegen, fahr den hoch und ergänze dann die fehlenden Daten so gut es geht aus den Backups.

MEINE Vermutung: Die Fritzbox(en) verschlucken sich ab und an so alle paar Monate an DHCP, wie anders kann es sein, da ich den regulären Pi aus der Box löschen muss, dem neuen Pi die gleiche IP zuweise..und wenige Tage später, wenn sich alles wieder "beruhigt" hat (meine Nerven vor allem *gg* ), kann ich, als wär nix gewesen, das alles wieder retour stöpseln.

Auch eigenartig, die Pi 's werden täglich 05:20 rebootet, sollte ein Pi Schluckauf haben, müsste ja danach wieder Ruhe einkehren, tut es aber nie. den Pi3 den ich hier mal zum Testen da angestöpselt hab, lief durch..zumindest zeigte er keine Ausfälle in 2 Monaten.

Ich hab jetzt die max Stromstärke des USB Ports für den Pi hoch gesetzt, original kann der nur 600mA, für ALLE Ports in Summe!
Die kleine 120er SSD hier hat zwar nur 300mA Peak laut Datenblatt, aber im Keller wo der zweite Pi werkelt, hängen zusätzlich noch 3 rs485 Wandler, sollte rein theoretisch auch nix passieren. Und: ich hab überall das "..local.." gegen die IP ausgetauscht. Im Keller war zeitweise sogar ne HDD dran
-geht aber nicht jede,vmtl Anlaufstrom zu hoch

Warum genau sich der Pi so böse aufhängt, hab ich noch immer nicht herausgefunden, aber bisher war jedes backup inkl aller Datenbanken vorhanden.

Ich tippe immer mehr auf die Fritzen....
SMA Tripower 8 / Growatt MIN 3000 TL-XE / ELWA DC WW 300L / Growatt SPH 4600 an 4 ARK LV , 20,5kWp / 10kWh

Inntaler
Beiträge: 28
Registriert: So 7. Feb 2021, 19:05
Hat sich bedankt: 3 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von Inntaler »

Servus Allemiteinander,
seit einigen Tagen läuft Solaranzeige auf meinem neuen Hybrid-System (Sungrow), geht super!
Jetzt hab ich mich durch dasThema "Backup" gelesen und verstehe immer noch nichts.
Außer, dass Datenbank auf SD-Karte schlecht ist.
Bei "bash-Script", "crontab anpassen" usw. klingelt bei mir außer den Ohren leider garnichts.
Also meine Frage an Euch:
Würde es das Problem lösen, wenn ich eine SSD an den Raspi anstecke und die Datenbank gleich auf diese schreiben lasse (wenn das überhaupt geht)?
Wenn ja, wäre ich dankbar für eine Schritt-für-Schritt-Anleitung für einen Programmier-Laien.
Danke

andreas_n
Beiträge: 1313
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 22 Mal
Danksagung erhalten: 82 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

Findest alles in der Suchfunktion
SMA Tripower 8 / Growatt MIN 3000 TL-XE / ELWA DC WW 300L / Growatt SPH 4600 an 4 ARK LV , 20,5kWp / 10kWh

Antworten

Zurück zu „Dokumente, Bauanleitungen und How To's“