Backup und Restore der Influx Datenbank

[JensN]

Hallo TeamO,

du löschst mit find /backup/Datenbanken/solaranzeige/* -mtime +2 -exec rm {} \; auch Dateien die älter als zwei Tage sind. Ich habe auch noch weitere Ordner in dem Backupverzeichnis. Löscht der Befehl diese mit, wenn du "*" angibst oder muss ich noch mit dem -type f explizit nur Dateien löschen angeben.

Danke

[TeamO]

Ich kann die ehrlich darauf keine genaue Antwort geben, da ich mich selber durch Solaranzeige erst mit Linux befasse. Ich habe bei meiner Backup-Strategie deswegen auf eine Trennung zwischen den Datenbanken und anderen Dateien geachtet. Mache ich eigentlich immer so. Da ich aber für jede Datenbank einen eigenen Ordner habe, geht der Befehl in die Unterordner und löscht dort die entsprechenden Dateien ohne den Ordner der entsprechenden Datenbank selbst zu löschen, auch wenn er älter ist.
Du solltest also ebenfalls die Datenbanken und andere Dateien trennen.

[Filips]

Ich bin’s nochmal.
Die Backup-Routine vom Team0 funktioniert gut.
Es wird eine msg-Datei erstellt, nur wie bekomme ich die versendet?
Hab nix gefunden. Kann mir jemand einen Stupser geben?

Filips

[Filips]

Weitere Rückmeldung:
Hab von SD-Karte auf SSD umgestellt. Mit der Hilfe hier ging das schnell.
Vorher hatte ich ein Backup mit 6,7 GB und das dauerte ungefähr 20 Minuten.
Jetzt hat das Backup 2,5 GB und es dauert 1h 20 Minuten.

Das alte Backup hat entpackt eine Größe von 16GB, das neue 112GB - heißt, die Partitionen werden komplett gepackt, unabhängig davon ob da was drauf ist oder nicht.
Werde heute mal die Partition mit GParted verkleinern. 16 GB sollten erst mal reichen, oder weiß jemand, wie stark die InfluxDB über die Zeit wächst?

Filips

[Yoda68]

Hallo in die Runde,

als Neuling hier und Linux-Frischling mit begrenzten Fähigkeiten,
eine Frage zu den Backup-Strategien.

1.) Reicht es nicht wenn, keine weiteren Änderungen am "Projekt-Solaranzeige" mehr gemacht werden, die SD-Karte zu "Klonen" und den "Klon" am/beim Raspi zu befestigen.?
Falls die SD-Karte im Gerät defekt geht einfach Ersatzkarte rein und es geht sofort erst mal weiter.
Klar es fehlen dann alle Daten die sich bis zum "Ausfall" angesammelt haben.

2.) Ist es sinnvoll ein Image (aller 14 Tage) auf Fritz.NAS (Usb Stick) zu hinterlegen , die jüngsten 2 Image behalten und den Rest auf dem Stick löschen?
Damit könnte man dann in Ruhe eine weitere SD-Karte fertig machen und es fehlen nur die Daten von 14 Tagen.

3.) Was muss alles in ein tägliches Backup gesichert werden, wenn ich die Daten auf die "Klon-Karte" zurückspiele wollte.?

4.) Müssen weitere Wartungsaufgaben gemacht werden z.B. alte Solarprognosen und Mosmix Daten löschen?

Ich habe keinen Schimmer was Sinn macht und was nicht.
Hat jemand Routinen für den Königsweg gefunden oder schon umgesetzt?

Ich hatte mir das in meiner Unwissenheit so vorgestellt (Entwurf):

Code: Alles auswählen

#!/bin/bash
#Tägliche Sicherung "Backup.sh"

#Festplatte / USB STICK FRITZBOX einbinden und Prüfen
sudo mount -t cifs -o credentials=home/pi/.smbcredentials //192.168.178.1/FRITZ.NAS/USB_265_GB/Solaranzeige /mnt/nas
if ! [ -d "/mnt/nas/BackupRaspi" ] ; then
     echo "Verzeichnis nicht gefunden"
     sudo umount /mnt/nas
     exit
fi

#altes Backup vorher loeschen
sudo rm /mnt/nas/BackupRaspi/Dataold/*
sudo mv /mnt/nas/BackupRaspi/Data/* /mnt/nas/BackupRaspi/Dataold
#Backup erstellen
sudo service influxdb stop
sudo influxd backup -portable -database solaranzeige /mnt/nas/BackupRaspi/Data
sudo service influxdb restart
sudo tar -vcf /mnt/nas/BackupRaspi/Data/BackupSolAnz_${zeit}.tar /var/www/html /etc/dhcpcd.conf /var/lib/grafana /var/spool/cron/crontabs /etc/influxdb /etc/grafana /etc/php/7.3/cli/php.ini /Solaranzeige

#Festplatte auswerfen
sudo umount /mnt/nas
###############################################################################################################


#!/bin/bash
# 14 tägiges IMAGE Backup "Backup_Image.sh"

# VARIABLEN - HIER EDITIEREN
BACKUP_PFAD="/mnt/nas/BackupRaspi/Image"
BACKUP_ANZAHL="4"
BACKUP_NAME="RaspberryPiBackupImage"
DIENSTE_START_STOP="service influxdb"
# ENDE VARIABLEN

#Festplatte / USB STICK FRITZBOX einbinden und Prüfen
sudo mount -t cifs -o credentials=home/pi/.smbcredentials //192.168.178.1/FRITZ.NAS/USB_265_GB/Solaranzeige /mnt/nas
if ! [ -d "/mnt/nas/BackupRaspi" ] ; then
     echo "Verzeichnis nicht gefunden"
     sudo umount /mnt/nas
     exit
fi
# Stoppe Dienste vor Backup
${DIENSTE_START_STOP} stop
 
# Backup mit Hilfe von dd erstellen und im angegebenen Pfad speichern
dd if=/dev/mmcblk0 of=${BACKUP_PFAD}/${BACKUP_NAME}-$(date +%Y%m%d-%H%M%S).img bs=1MB
 
# Starte Dienste nach Backup
${START_SERVICES} start
 
# Alte Sicherungen die nach X neuen Sicherungen entfernen
pushd ${BACKUP_PFAD}; ls -tr ${BACKUP_PFAD}/${BACKUP_NAME}* | head -n -${BACKUP_ANZAHL} | xargs rm; popd

#Festplatte auswerfen
sudo umount /mnt/nas
##################################################################################################################

zwei Dateien als *.sh in die crontab.
Würde das so funktionieren?

Wäre dankbar für eure Hilfe und Meinungen.

[andreas_n]

moin Meister (yoda)

Königswege gibt es viele, zum Backup hier auch schon mehrere Varianten wie und wo.
Es gibt User, die haben seit langem eine SD im Einsatz, ich steh mit den Dingern auf Kriegsfuss.
USB Stick hat die gleiche Speicherarchitektur, ist also SD like, nur mit Stecker dran.

Bei mir rennt direkt am Pi eine HDD, an der Fritze eine SSD und der Server hat RAID mit SSD.
Der Backup Pi rennt mit HDD.
Warum HDD? Hat sich seit Jahren bewährt, SSD kann Daten verlieren, wenn länger ohne Strom, kenne ich einige Fälle, wo die Reservetablets des hiesigen Energieversorgers defekt waren weil zu lange gelagert.
Wenn die HDD nicht gerade auf den Boden fällt oder im Betrieb gestossen wird, rennen die Dinger ewig (hab mehrere 160-320er 2,5Zoll im Betrieb seit Jahren)
Damit war meine Datenverlustparanoia befriedigt...

Zum Backup selbst..ich sichere täglich die Datenbanken nachts ab und ebenso einmal nachts ein kpl Backup des gesamten Pi-solange ich noch an der endgültigen Software tippe.Dashboards schreibe ich auch alle Woche weg..sicher ist sicher

Als Neuling mit "begrenzten..." würd ich sagen..mach nen tägliches Image der SD, das geht im laufenden Betrieb.Bei SD Ausfall ist es leichter wieder herzustellen.
Den Pi auf USB Boot umzustellen ist gar kein Hexenwerk und wenns unbedingt ein "Stick" sein soll...wenig grösser gibts die auch als mSATA SSD .

Sonnige Grüsse
Andreas

[Yoda68]

Danke Andreas,

das beruhigt mich ungemein (als Neuling), dann wird es ein tägliches Image auf die Fritzbox. Mounten hat ja schon mal geklappt.
Na mal sehen ob ich es hin bekomme.

[andreas_n]

Na mal sehen ob ich es hin bekomme.

Klappt schon, wenn nicht, frag nach, ich hab nur die nächsten 48h, ah eher 42h Vollstress, die PV Erweiterung MUSS noch im März eingeschalten werden (IBN) und da fehlt noch bisserl was.

Ist zwar wieder mal auf der allerletzten Rille, aber was ist derzeit schon normal..*lach* (Wetter war hier auch die letzten 3 Wochen eher saukalt, da will ich nicht aufs Gerüst:-) )

[Yoda68]

Irgendwo ist der Wurm drin!
Wenn ich z.B.
sudo influxd backup -portable -database solaranzeige -host 127.0.0.1:8088 /media/externerUSB/BackupRaspi/Data
in die Befehlszeile tippe macht er das Backup!
Aus der .sh gestartet nicht. ????
da kommt

Code: Alles auswählen

sudo service influxdb stop
sudo influxd backup -portable -database solaranzeige -host 127.0.0.1:8088 /media/externerUSB/BackupRaspi/Data/solaranzeige_backup
2021/04/02 10:41:08 backing up metastore to /media/externerUSB/BackupRaspi/Data/solaranzeige_backup/meta.00
2021/04/02 10:41:08 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (0)...
2021/04/02 10:41:10 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (1)...
2021/04/02 10:41:12 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (2)...
2021/04/02 10:41:14 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (3)...
2021/04/02 10:41:16 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (4)...
2021/04/02 10:41:18 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2s and retrying (5)...
2021/04/02 10:41:20 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 3.01s and retrying (6)...
2021/04/02 10:41:23 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 11.441s and retrying (7)...
2021/04/02 10:41:34 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 43.477s and retrying (8)...
2021/04/02 10:42:18 Download shard 0 failed dial tcp 127.0.0.1:8088: connect: connection refused.  Waiting 2m45.216s and retrying (9)...
backup: dial tcp 127.0.0.1:8088: connect: connection refused
sudo service influxdb restart

Hier das Skript:

Code: Alles auswählen

#!/bin/bash
#Tägliche Sicherung "BackupTag.sh"

# VARIABLEN - HIER EDITIEREN
zeit= date
# ENDE VARIABLEN

#Festplatte / USB STICK einbinden und Prüfen
sudo mount /dev/sda1 /media/externerUSB
sleep 5
if ! [ -d "/media/externerUSB/BackupRaspi" ] ; then
     echo "Verzeichnis nicht gefunden"
     sudo umount /media/externerUSB
     exit
fi

#altes Backup vorher loeschen
sudo rm /media/externerUSB/BackupRaspi/Dataold/*
sudo mv /media/externerUSB/BackupRaspi/Data/* /media/externerUSB/BackupRaspi/Dataold
#Backup erstellen
sudo service influxdb stop
sudo influxd backup -portable -database solaranzeige -host 127.0.0.1:8088 /media/externerUSB/BackupRaspi/Data
sudo service influxdb restart
sudo tar -vcf /media/externerUSB/BackupRaspi/Data/BackupSolAnz_${zeit}.tar /var/www/html /etc/dhcpcd.conf /var/lib/grafana /var/spool/cron/crontabs /etc/influxdb /etc/grafana /etc/php/7.3/cli/php.ini /solaranzeige

#Festplatte auswerfen
sudo umount /media/externerUSB

Ich sehe wahrscheinlich den Wald vor lauter Bäumen nicht.

[andreas_n]

Hi Yoda,

kann es sein,dass die Scheibe noch nicht da ist nach dem mount und somit nicht gehen kann?
Bau mal nen "sleep" nach dem mount Aufruf in die .sh, dürfte 15-25 langen