Backup und Restore der Influx Datenbank

Alles was mit der Solaranzeige Image Installation und Betrieb zu tun hat. Einfache Konfiguration mit einem Gerät.

Moderator: Ulrich

solarfanenrico
Beiträge: 593
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 31 Mal
Danksagung erhalten: 37 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von solarfanenrico »

Bogeyof hat geschrieben:
Di 8. Jun 2021, 18:20
Falsch verstanden, ich will das Backup auf dem SSD-Laufwerk und das gleiche Script kopiert es auch gleich noch auf das NAS ich sehe da keine Umwege...
ach so, doppelte Sicherung.
Das Restore vom Nas ist gar nicht nötig, sondern nur eine Zusatzabsicherung, weil evtl.das Nas mal nicht gemountet war, dann ist es ja auf der SSD :D

Ich habe mich von der Variante einer Sicherung auf dem aktuellen Laufwerk komplett verabschiedet. Die geht zwar am schnellsten, man braucht jedoch die Zusatzabsicherung. Finde ich geht in eine Richtung, die ich nicht bevorzuge.
Im Moment sind meine 3 Datenbanken zwar noch nicht sehr groß, und schreiben sich auf das Nas innerhalb von 10 Sekunden. Retsore braucht auch nicht länger. Da es innerhalb der offiziellen Wartungsroutine um 23.55Uhr passiert, ist es egal, wenn in einpaar Jahren mal 5 Minuten daraus werden.
Einpaar Minuten vor der Wartung habe ich ein script mit sudo mount -a eingebaut. Da wird auch das Nas eingehängt, falls es mal raus war.
Enrico

andreas_n
Beiträge: 595
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 15 Mal
Danksagung erhalten: 27 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

Mahlzeit,

mal ne Frage zum Restore der Datenbanken. Hat sich jemand schon mal die Mühe gemacht, alle notwenigen Vorgänge wie "drop influx" und "restore" in einem batchfile zusammenzufassen? Bei einer Datenbank ist der Aufwand ja noch vertretbar, aber ich hab 6 davon für einen Pi

Sonnige Grüsse
Andreas
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)
3,8kWp S > Growatt SPH 4600 (IBN 22.10.21)

solarfanenrico
Beiträge: 593
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 31 Mal
Danksagung erhalten: 37 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von solarfanenrico »

Hallo Andreas,
meine /solaranzeige/influxdelete.sh sieht so aus.
#Konfiguration
# löschen
#//Datenbankenbackups die älter als 2 Tage sind, werden gelöscht
find /mnt/naslaufwerk/backups/750/solaranzeige750_backup -mtime +1 -type f -exec rm -rf {} \;
find /mnt/naslaufwerk/backups/1650/solaranzeige1650_backup -mtime +1 -type f -exec rm -rf {} \;
find /mnt/naslaufwerk/backups/1000/solaranzeige1000_backup -mtime +1 -type f -exec rm -rf {} \;

find /solaranzeige/backups/750/solaranzeige750_backup -type f -exec rm -rf {} \;
find /solaranzeige/backups/1650/solaranzeige1650_backup -type f -exec rm -rf {} \;
find /solaranzeige/backups/1000/solaranzeige1000_backup -type f -exec rm -rf {} \;
und wird im Rahmen der user.wartung.php
aufgerufen.
$influxloeschen = shell_exec("/solaranzeige/influxdelete.sh"); //Datenbankenbackups die älter als 2 Tage sind, werden gelöscht

andreas_n
Beiträge: 595
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 15 Mal
Danksagung erhalten: 27 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

Hi Enrico,

das Backup ist erledigt, das läuft stabil automatisch..es geht drum, beim RESTORE der Datenbanken eine Routine zu haben, die meinetwegen aus vordefinierten Ordnern die aktuelle Sicherung abholt und dabei alle DB zurückschreibt. Sprich man hat eine Reservescheibe rumliegen und spielt dann nur noch die aktuelle DB ein

Evtl hat das ja schon einer automatisiert.

Gruss
Andreas
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)
3,8kWp S > Growatt SPH 4600 (IBN 22.10.21)

solarfanenrico
Beiträge: 593
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 31 Mal
Danksagung erhalten: 37 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von solarfanenrico »

ich bin auch neben der Spur.
Mein Formular hat das Hirn resetet.
meine /solaranzeige/influxrestore.sh
funktioniert auf Tastendruck, und nimmt die aktuell letzten Backups. Ich brauch mich um nichts kümmern.

Create database und Drop database sind in Arbeit. Die benötige ich für das Formular Multi_Regler. Single ist fertig.
Shell-Befehl-Strings könntest Du schon bekommen. Ulrich hat mir jedoch die Auflage erteilt, alles über php zu realisieren.
#!/bin/bash
#Konfiguration
# Wiederherstellen der gewohnten InfluxDatenbanken
influxd restore -portable -db solaranzeige750 /mnt/naslaufwerk/backups/750/solaranzeige750_backup
influxd restore -portable -db solaranzeige1650 /mnt/naslaufwerk/backups/1650/solaranzeige1650_backup
influxd restore -portable -db solaranzeige1000 /mnt/naslaufwerk/backups/1000/solaranzeige1000_backup
Enrico

andreas_n
Beiträge: 595
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 15 Mal
Danksagung erhalten: 27 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

äähm, und wie machst Du das mit der Datenbank?
Also der bestehenden? Die soll doch zuvor mit

influx
drop database solaranzeigexyz
quit

erstmal weg, bevor die Backup Datenbank eingespielt werden kann, oder hab ich das auf Seite 1 hier missverstanden?
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)
3,8kWp S > Growatt SPH 4600 (IBN 22.10.21)

solarfanenrico
Beiträge: 593
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 31 Mal
Danksagung erhalten: 37 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von solarfanenrico »

ne die drop habe ich noch über die shell-konsole gemacht.

Es genügt jedoch, wenn Du nur die betreffende löscht. Di anderen werden ignoriert.

Oder man baut sich eine restore für newDB, und stellt im Grafana und in den x.user... um ha, ha, ha

sei mal nicht so faul. Gehirnjogging tut auch gut.

Würdest Du mal das Formular für die Single-Variante testen, Du hast doch sicher schon alles auf Multi-Regler.
Du brauchst kein setup oder setup -f und es wird eigentlich nur die user.config umgeschrieben. Die wird ja eigentlich auch nicht mehtr benötigt.
Sicher hast Du auch die Möglichkeit die an irgeneiner Stelle zu parken.

Enrico

andreas_n
Beiträge: 595
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 15 Mal
Danksagung erhalten: 27 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von andreas_n »

Gehirnjogging iss gutti
:-)

Ich zieh grad hardeware seitig mit dem Pi um, letzte Woche ist mir ein Pi gestorben nach ca 10mal Flackernetz , das ewige Strom an / aus Spiel hatte er mit dem Verlust des Rom bezahlt und die Scheibe mit runter gezogen (die geht zwar an einem PC, aber nimmer an einem Pi, mir unerklärlich)
und heute früh hatte ich letzte Änderungen im System und lösch versehentlich eine Influx zuviel raus in Grafana, das wars dann...bevor ich lange suche welche (ungenutzte) Influx das war, hab ich System neu aufgesetzt, aber halbe Stunde ist weg nur für die Datenbankschieberei..:(

Klar hab ich alles auf Multiregler, insgesamt die WR,4 sonoff und der Homemanager und die Elwa laufen nicht auf einem Pi, zumindest nich mit meinen Linuxkenntnissen... aber nachdem ich nun zu einem geschenkten Modbusinterface der Elwa komme, muss das natürlich auch noch rein.

Gruss
Andreas
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)
3,8kWp S > Growatt SPH 4600 (IBN 22.10.21)

leilei
Beiträge: 17
Registriert: Di 3. Mär 2020, 21:18
Hat sich bedankt: 6 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von leilei »

andreas_n hat geschrieben:
Do 15. Jul 2021, 16:30
äähm, und wie machst Du das mit der Datenbank?
Also der bestehenden? Die soll doch zuvor mit

influx
drop database solaranzeigexyz
quit

erstmal weg, bevor die Backup Datenbank eingespielt werden kann, oder hab ich das auf Seite 1 hier missverstanden?
Hallo,
wen es interessiert, hier die autom. Löschung der Influx-DB in einem Bash-Script (wobei die letzte Zeile mein persönlicher Pfad ist *influxd restore -portable ...):

#!/bin/bash
#bestehende Datenbank löschen
influx <<EOF
drop database solaranzeige;
EOF
#Datenbank zurückspielen
influxd restore -portable -db solaranzeige /home/pi/backups/backup-influx

gudwih
Beiträge: 50
Registriert: Di 6. Apr 2021, 14:24
Wohnort: am Bodensee
Hat sich bedankt: 11 Mal
Danksagung erhalten: 3 Mal

Re: Backup und Restore der Influx Datenbank

Beitrag von gudwih »

Hallo, ich habe erst heute "aus gegebenem Anlass" bemerkt, dass ich zwar für alle meine anderen Linux VMs ein Backup auf den NAS-en habe, aber nicht für die Solaranzeige auf Raspi. :(.
Da ich nun ja nicht so der Held mit scripting bin, frage ich mich ob es irgend einen Nachteil gibt wenn man nur eine remote InfluxDB benutzt. also keine Lokale auf dem Pi. Die Grafana Panels müsste ich umbauen, das ist klar, wobei ich dann auch die andere Grafana Instanz des ioBroker nutzen würde.
Die Netzlast dürfte ja auch im Rahmen bleiben.
Ich dachte daran einfach die DB meines ioBrokers mit zu nutzen, die ohnehin täglich mit der VM gesichert wird.


Um schon mal ein Backup zu haben, nutze ich Ulrichs statement vom start des Freds, etwas modifiziert. Ich hänge einfach Datum und Uhrzeit an den Verzeichnisnamen an und ich erspare mir erst mal das Löschen der alten Version. Ich bin von Natur aus "bequem".

Code: Alles auswählen

influxd backup -portable -database solaranzeige /tmp/solaranzeige_backup$(date +%Y-%m-%d_%H:%M:%S)
Goodwe 5048EM, Solaranzeige (Raspi4), ioBroker (Proxmox & Intel NUC), Raspberrymatic (Raspi3+)

Antworten