Frage an Linux Freaks

Allgemeine Informationen zum Nachbau und zum Forum.
PV-Monitorung / PV Überwachung

Moderator: Ulrich

andreas_n
Beiträge: 446
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 13 Mal
Danksagung erhalten: 18 Mal

Frage an Linux Freaks

Beitrag von andreas_n »

Moin Forum,

ich hab mal Frage zum Copy Befehl unter Linux.

cp -au quelle /ziel

soweit so gut,
nun die Frage:

Ich mach zur vollen Stunde ein Backup aller Datenbanken, die grösste ist nach 7sek fertig im backup Ordner aufm Pi4, in Summe sind es kaum mehr als 20sek für alle 6 Datenbanken.

10min später wird der Backupordner mit cp -au auf den Server umkopiert, und nun dauert dieser Vorgang über 5 MINUTEN.
Auf dem Pi werden ältere Files wie 3 Tage gelöscht, im Zielordner nach 30 Tagen.

Warum dauert der Umkopiervorgang so dermassen lange, die Datenmenge kanns nicht sein und der PI hängt direkt per LAN an der Fritze.

Gruss
Andreas
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)

solarfanenrico
Beiträge: 352
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Frage an Linux Freaks

Beitrag von solarfanenrico »

Hallo Andreas,
das Kopieren ansich ist es nicht,
Wenn Du über den Midnightcommander vom NAS auf den Pi mit der F5-Taste kopierst geht das auch binnen Sekunden. Ich denke, hier wird der ssh-Tunnel benutzt.

Die Lese- und Schreibgeschwindigkeiten sind es also nicht. Es werden wohl die Protokolle sein, die hier bremsen.

Enrico

tuxflo
Beiträge: 64
Registriert: So 17. Mai 2020, 21:48
Hat sich bedankt: 12 Mal
Danksagung erhalten: 14 Mal

Re: Frage an Linux Freaks

Beitrag von tuxflo »

Ich verstehe die Frage nicht so ganz, du fragst warum das lokale Kopieren deutlich schneller geht als übers Netzwerk? Dazu solltest du wissen, dass der Netzwerkport von Raspis sich den Bus mit den USB Steckplätzen teilt. Du hast also dort eine maximale Bandbreite von rund 300MBit/s. Auf der lokalen SD Karte geht es um Faktor 10 schneller, hier können Geschwindigkeiten von rund 70MByte/s (Byte nicht Bit) erreicht werden.
Die Sache mit dem Protokoll kommt noch on top dazu, je nachdem was da verwendet wird, kann auch die eher schwache CPU die Sache noch ausbremsen.

In jedem Fall würde ich dir aber dazu raten dir mal rsync anzuschauen, denn das ist um einiges "smarter" als ein reguläres cp und würde z.B. auch nur die Daten übertragen die sich wirklich geändert haben.
Kostal Pico Wechselrichter
SMA Tripower Wechselrichter

go-E Wallbox

per IR-Schreib/Lesekopf werden auch Zählerdaten erfasst

Raspi 4 über PoE HAT betrieben

solarfanenrico
Beiträge: 352
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Frage an Linux Freaks

Beitrag von solarfanenrico »

tuxflo hat geschrieben:
Sa 10. Jul 2021, 22:15
......

In jedem Fall würde ich dir aber dazu raten dir mal rsync anzuschauen, denn das ist um einiges "smarter" als ein reguläres cp und würde z.B. auch nur die Daten übertragen die sich wirklich geändert haben.
Hallo tuxflo,
speziell und exklusiv für die InfluxDB-Backups wird rsync wahrscheinlich keinen Vorteil bringen, denn die Dateien sind generell neuer als die vorherigen und müssen also komplett übertragen werden. Oder, irre ich mich?
In anderen Bereichen, wie die Sicherung ganzer Verzeichnisse, ist es absolut wertvoll.
Enrico

andreas_n
Beiträge: 446
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 13 Mal
Danksagung erhalten: 18 Mal

Re: Frage an Linux Freaks

Beitrag von andreas_n »

Moin zusammen,

also mich macht stutzig, dass für insgesamt 20 MB Daten (die der 6 Influx), der Pi 4 wenige Sekunden benötigt, diese zu schreiben, aber über 5 Minuten, um sie auf den Server zu kopieren.

Im Vergleich dazu..das 16GB Image schreibt er in ca 35 Minuten auf den Server, also im Vergleich zu den Datenbanken wesentlich schneller.

Und da ja mit "cp -au" nur die neueren Datenfiles samt Attribut kopiert werden, kann ich mir den eklatanten Zeitbedarf nicht erklären.

Wenn ich ein Test Directory mit 81MB Inhalt in 17 sek komplett übertragen kann mit "cp -au" (Datenbanken) und aus der crontab heraus dauert ein 4mal so kleines Update mit ca 20MB über 5 Minuten.
Ich find dafür keine Erklärung

Gibts einen Befehl, wo man sieht das der PI grad so macht? -v geht bei cronjobs irgendwie nicht

Gruss
Andreas

EDIT: Scheinbar dauert der Scanvorgang nach neueren Files so lange...hat also mit dem reinen Copy nix zu tun.
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)

solarfanenrico
Beiträge: 352
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Frage an Linux Freaks

Beitrag von solarfanenrico »

andreas_n hat geschrieben:
So 11. Jul 2021, 10:14
Moin zusammen,
...

EDIT: Scheinbar dauert der Scanvorgang nach neueren Files so lange...hat also mit dem reinen Copy nix zu tun.
Hallo Andreas,

versuche bitte mal
sudo cp -r quelle ziel
in der Konsole. Das -r bedeutet rekursiv, also verzeichnisgebunden.

-rv zeigt in der Konsole den Fortschritt.

Das geht ziemlich flott in der Konsole, auch und gerade die Influx-Backups.

Das sudo habe ich jetzt in meine ausführbare bash-Datei eingefügt, und das Kopieren über Nacht geht wahrscheinlich um den Faktor 5 schneller als bisher.
Bisher habe ich es am aktuell arbeitenden System getestet. Mal sehen wie es in der Nacht arbeitet. Danke für die Hinweise. Es hat zum Denken und recherchieren angeregt. Ob es etwas sinnvolles ergeben wird, zeigt sich morgen. :D 8-)
Enrico

andreas_n
Beiträge: 446
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 13 Mal
Danksagung erhalten: 18 Mal

Re: Frage an Linux Freaks

Beitrag von andreas_n »

Nabend Enrico,

bringt eigentlich keinen Zeitvorteil, ich hab das jetzt so umgebaut,dass anstatt mit dem "find" und "mtime +5..." nicht mehr 5 Tage im Backup Ordner des Pi sind sondern mit "mmin +120" nur mehr 120 Minuten, also max 2 Datenbanksicherungen. Dadurch ist das Verzeichnis arg geschrumpft und nach paar Sekunden ist der copy Befehl durch. Im Prinzip ist es ja egal, wie lange der copy Befehl dauert, ich hatte nur keine Erklärung seinerzeit.

Könnte man sicher eleganter lösen, aber im Falle eines fehlerhaften Mounts im System (Platte an der Fritze ausgesteckt oder Server down), sind wenigstens die Datenbanken lokal gesichert, also mach ich jetzt im 30Min Versatz zusätzlich noch ein Backup3rdpartition auf der Scheibe und lege die Daten im restlichen Speicherraum der HDD/SSD ab. Da sind meist so um die 100GB frei...langt :-)

Weisst ja, ich hab Datenverlustparanoia..und durch blöden Zufall hat sich ein Pi4 gehimmelt...zum natürlich dümmsten Zeitpunkt ever...aufgrund "Flackerstrom" hier hat er sich wohl das eigene ROM weggeschossen, lässt sich mit keinem Medium mehr booten...die Platte allerdings geht nur noch an einem PC...was meinste wie froh ich war, die Daten mehrfach redundant weggesichert zu haben...
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)

solarfanenrico
Beiträge: 352
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Frage an Linux Freaks

Beitrag von solarfanenrico »

Hallo Andreas,
jaja, Paran...
Mir genügt eine einmalige tägliche Sicherung der InfluxDB für die Summen.
Früher hatte ich auch das Bedürfnis in die Einzelheiten eines Tages zu sehen. Dies diente aber eher der Optimierung der Anlage, damit ich lernen konte meine Solarthermie besser zu programmieren.
Seit ich PV dazu anwende sind mir nur noch die Summen wichtig, und wenn ein Tag fehlt, fülle ich das handisch in die externen zusätzlichen MariaDB's

Enrico

andreas_n
Beiträge: 446
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 13 Mal
Danksagung erhalten: 18 Mal

Re: Frage an Linux Freaks

Beitrag von andreas_n »

solarfanenrico hat geschrieben:
So 11. Jul 2021, 21:16
Mir genügt eine einmalige tägliche Sicherung der InfluxDB für die Summen.
Moin Enrico, das würde es auch langfristig, aber in der Zeit wo ich die PV erweitert habe(was ursprünglich nicht am Radar war), dazu nun auch mit der Automation mein WWPuffer gesteuert wird, muss ich schon wissen, wie da die Elektronen fliessen *lach*

Im Sommer ist das alles einfacher weil Überschuss, aber im Winter wirds eng werden wenn ich die Grafiken so betrachte, da muss jedes Watt in WW

Ich hab hier nen dritten Pi, der in einer Schachtel verschwindet samt USV und Platte (in dem Falle SSD weil tragbar) und während Tests und allerlei Versuchen, bin ich schon froh, nicht aufs nächtliche FullBackup warten zu müssen.

Nebenbei, der Juli ist bisher weit unter Durchschnitt, das dürften 50% weniger als normal sein am Ende des Monats, damit bleibt auch alles andere wie Gartenarbeit und Freibad liegen, kann ich das Projekt also abschliessen...
sonnige Grüsse
Andreas
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)

solarfanenrico
Beiträge: 352
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Frage an Linux Freaks

Beitrag von solarfanenrico »

andreas_n hat geschrieben:
Mo 12. Jul 2021, 08:47
solarfanenrico hat geschrieben:
So 11. Jul 2021, 21:16
Mir genügt eine einmalige tägliche Sicherung der InfluxDB für die Summen.
..
Im Sommer ist das alles einfacher weil Überschuss, aber im Winter wirds eng werden wenn ich die Grafiken so betrachte, da muss jedes Watt in WW

..
Ganz so extrem sehe ich es nicht. kWh ist kWh. Ich lade ja meinen Überschuss auch vorwiegend mit Heizstab in den Puffer, weil mir diese kWh nichts kostet, Aber wenn ich etwas übertreibe und dann doch ausversehen wieder aus dem Netz beziehen muß ist die Rechnung 1:5
Lieber mal automatisch 1m³ Gas ca.10kWh a 5Ct. als dieselbe Menge Strom ausversehen vom Netz bezogen, weil ausversehen verheizt.

Und so genau kann man es gar nicht automatisch regeln. Da gibt es mehr als 2-3 Parameter zu beachten.
Ich verschenke lieber 1kWh PV, anstatt 0,5 zusätzlich zu beziehen.

Enrico

Antworten