InfluxDB
Moderator: Ulrich
-
- Beiträge: 1592
- Registriert: Do 25. Jun 2020, 13:40
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 86 Mal
InfluxDB
Moin ins Forum!
Ich hab ne Verständnisfrage zur influx Datenbank.
Das sie nicht einfach kopiert werden kann, wird immer geschrieben..aber wenn der Pi sauber mit "poweroff" runtergefahren wird, ist doch nach meinem Verständnis auch die DB inaktiv. In dem Zustand müsste sie doch auf eine zweite SD transferiert werden können.
Hintergrund..bei mir werkeln 2 Pis, der Haupt pi schreibt drei WR mit (davon 2mal sonoff) ,der Zweit Pi rennt als Reserve und schreibt die beiden Sonoff´s nicht mit...
Gestern abend hat sich die SD des Haupt Pis nimmer lesen lassen für ein Backup-Image, läuft im Pi aber noch (warum das so ist, keine Ahnung, Imageerstellung dauert ewig und dann Abbruch)..ich würde die beiden sonoff Datenbanken (solaranzeige 2 und Solaranzeige3) gerne retten.
Beide Pi´s runterfahren und unter Linux die beiden DB auf die noch lesefähige SD kopieren?
Was müsste noch kopiert/gesichert werden?
(Die Dashboards hab ich schon weggesichert)
Schönen Wochenstart
Andreas
Ich hab ne Verständnisfrage zur influx Datenbank.
Das sie nicht einfach kopiert werden kann, wird immer geschrieben..aber wenn der Pi sauber mit "poweroff" runtergefahren wird, ist doch nach meinem Verständnis auch die DB inaktiv. In dem Zustand müsste sie doch auf eine zweite SD transferiert werden können.
Hintergrund..bei mir werkeln 2 Pis, der Haupt pi schreibt drei WR mit (davon 2mal sonoff) ,der Zweit Pi rennt als Reserve und schreibt die beiden Sonoff´s nicht mit...
Gestern abend hat sich die SD des Haupt Pis nimmer lesen lassen für ein Backup-Image, läuft im Pi aber noch (warum das so ist, keine Ahnung, Imageerstellung dauert ewig und dann Abbruch)..ich würde die beiden sonoff Datenbanken (solaranzeige 2 und Solaranzeige3) gerne retten.
Beide Pi´s runterfahren und unter Linux die beiden DB auf die noch lesefähige SD kopieren?
Was müsste noch kopiert/gesichert werden?
(Die Dashboards hab ich schon weggesichert)
Schönen Wochenstart
Andreas
SMA Tripower 8/Growatt MIN 3000 TL-XE/Growatt 1500S/Growatt SPH 4600,4 ARK LV,10kWh
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
-
- Beiträge: 1165
- Registriert: Mi 13. Mai 2020, 10:04
- Hat sich bedankt: 24 Mal
- Danksagung erhalten: 138 Mal
Re: InfluxDB
Man kann auch eine Sicherung der laufenden Datenbank im Betrieb machen:
Mit dem gleichen Befehl und "restore" statt "backup" kann man diese Sicherung wiederherstellen. Damit könnte es klappen...
Code: Alles auswählen
sudo influxd backup -portable -database solaranzeige /Zielverzeichnis
sudo service influxdb restart
-
- Beiträge: 1592
- Registriert: Do 25. Jun 2020, 13:40
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 86 Mal
Re: InfluxDB
Hallo Bogeyof,
muss die Datenbank vor dem Copy nicht gestoppt werden?
Ich kenn das (noch aus der Theorie, weil die Hardware aussenrum erst noch wachsen muss), dass die influxDB gestoppt werden muss, dann copy, danach DB wieder starten. In meinem Fall wo die SD sich nicht auslesen lies(am nächsten morgen wollte es dann doch klappen), wäre ja die DB sauber runtergefahren worden und in dem Zustand eigentlich kopierfähig, ohne Abstürze. Werde das am WE austesten wenn mehr Zeit
Zur Zeit grübel ich noch über den Bezugszähler...der Sunny HM2.0 schreibt andere Werte in den WR wie die Solaranzeige in die Datenbank schiebt, damit kann ich vorerst alle Grafiken zu Autarkie etc pp hinten anstellen.Noch dazu legt der WR nachts Ruhepause ein, aber dennoch werden dann alle 20min Werte in die Datenbank geschrieben, aber die erscheinen nicht in Grafana/Dashboard *grübel*
Hast Du ne Lösung wie man diese 20minütigen Werte vernünftig aufsummiert? Man müsste vermutlich mit nem .php diese Werte direkt aus der DB abholen...für diese Balkenanzeige im Dashboard würde es (mir) sogar langen, wenn jeweils Mitternacht der Wert abgeholt würde und die Differenz zum Vortag als Balken erscheint
Pi´s laufen beide immer noch, am WE werde ich einen dann per Wlan anbinden zwecks Test, ob dies für die Abstürze verantwortlich war, ich glaubs ja nicht. Der andere bekommt ne 250gb HDD verpasst, das sollte besser halten als die SDs
Gruss
Andreas
muss die Datenbank vor dem Copy nicht gestoppt werden?
Ich kenn das (noch aus der Theorie, weil die Hardware aussenrum erst noch wachsen muss), dass die influxDB gestoppt werden muss, dann copy, danach DB wieder starten. In meinem Fall wo die SD sich nicht auslesen lies(am nächsten morgen wollte es dann doch klappen), wäre ja die DB sauber runtergefahren worden und in dem Zustand eigentlich kopierfähig, ohne Abstürze. Werde das am WE austesten wenn mehr Zeit
Zur Zeit grübel ich noch über den Bezugszähler...der Sunny HM2.0 schreibt andere Werte in den WR wie die Solaranzeige in die Datenbank schiebt, damit kann ich vorerst alle Grafiken zu Autarkie etc pp hinten anstellen.Noch dazu legt der WR nachts Ruhepause ein, aber dennoch werden dann alle 20min Werte in die Datenbank geschrieben, aber die erscheinen nicht in Grafana/Dashboard *grübel*
Hast Du ne Lösung wie man diese 20minütigen Werte vernünftig aufsummiert? Man müsste vermutlich mit nem .php diese Werte direkt aus der DB abholen...für diese Balkenanzeige im Dashboard würde es (mir) sogar langen, wenn jeweils Mitternacht der Wert abgeholt würde und die Differenz zum Vortag als Balken erscheint
Pi´s laufen beide immer noch, am WE werde ich einen dann per Wlan anbinden zwecks Test, ob dies für die Abstürze verantwortlich war, ich glaubs ja nicht. Der andere bekommt ne 250gb HDD verpasst, das sollte besser halten als die SDs
Gruss
Andreas
SMA Tripower 8/Growatt MIN 3000 TL-XE/Growatt 1500S/Growatt SPH 4600,4 ARK LV,10kWh
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
-
- Beiträge: 1165
- Registriert: Mi 13. Mai 2020, 10:04
- Hat sich bedankt: 24 Mal
- Danksagung erhalten: 138 Mal
Re: InfluxDB
Laut der Beschreibung von Influx, in welcher dieser Befehl zur Sicherung auch beschrieben ist, muss wohl nicht extra gestoppt werden. Möglicherweise macht das der Befehl selbst, daher auch zur Sicherheit der Befehl zum Restart des Service im Anschluss.
Was Dein WR für Ruhepausen macht kann ich nicht sagen. Wenn Du nur alle 20 min einen Wert hast, ist die Genauigkeit natürlich ziemlich eingeschränkt. Trotzdem müsste es mit dem Integral-Befehl zumindest für Zeitabschnitte > 20 Minuten darstellbar sein (Beispiel wäre für Stündliche Werte):
Wenn du es z.B. für einen Tag zusammenfassen willst, dann:
Der Zeitversatz "-2h" berücksichtigt dabei die lokale Zeit gegenüber den in der Datenbank abgelegten Daten mit UTC. Wahrscheinlich muss im Winter dies alles auf "-1h" angepasst werden. Dafür habe ich noch keine Lösung...
Wenn der Integralbefehl nicht funktioniert, dann hänge noch ein "and Verbrauch > 0" an die Where-Klausel an:
Was Dein WR für Ruhepausen macht kann ich nicht sagen. Wenn Du nur alle 20 min einen Wert hast, ist die Genauigkeit natürlich ziemlich eingeschränkt. Trotzdem müsste es mit dem Integral-Befehl zumindest für Zeitabschnitte > 20 Minuten darstellbar sein (Beispiel wäre für Stündliche Werte):
Code: Alles auswählen
SELECT integral("Verbrauch_Netz",1h) FROM "AC" WHERE $timeFilter GROUP BY time(1h) fill(linear)
Code: Alles auswählen
SELECT integral("Verbrauch",1h) FROM "AC" WHERE $timeFilter GROUP BY time(1d,-2h) fill(linear)
Wenn der Integralbefehl nicht funktioniert, dann hänge noch ein "and Verbrauch > 0" an die Where-Klausel an:
Code: Alles auswählen
SELECT integral("Verbrauch_Netz",1h) FROM "AC" WHERE $timeFilter and Verbrauch > 0 GROUP BY time(1h) fill(linear)
Re: InfluxDB
Gute Datenbanken - also eigentlich alle - können inzwischen ein Backup im laufenden Betrieb machen und das sogar konsistent.
-
- Beiträge: 1592
- Registriert: Do 25. Jun 2020, 13:40
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 86 Mal
Re: InfluxDB
Hi, man müsste das Dashboard auf UTC einstellen, dann ist auch der Versatz ,-2h nicht notwendig, blöderweise stimmen dann die Charts nicht. Ich lasse lieber die Charts in der Uhrzeit korrekt und die dunkle Winterzeit läuft dann halt mit 1h Versatz. Ist blöde eigentlich, aber es beträfe ja "nur" die Bezugswerte aus dem Netz /Tag. Relativ gesehen dürfte sich in den Autarkieberechnungen das weit hinterm Komma bemerkbar machen, im Prinzip verschiebt sich einmalig pro Winter/Sommerzeitumschaltung der Nachtbezug von ca 200-400 Watt, je nachdem ob grade die Ölheizung anspringt oder auch nicht..
Mein WR ( SMA Tripower 8.0) spuckt in die Logdatei nur die Einspeise und Leistungsdaten, in die Influx aber die seit Inbetriebnahme den Import_Wh_ GESAMT.
Also keine Einzelwerte. Der zum WR zugehörige Homemanager soll ja irgendwann als Gerät implementiert werden. Jedenfalls testweise mit dem doch ähnlichen Kostal Smartmeter ist er nicht kompatibel, das hab ich schon getestet. Ich denke wenn Ulrich den Sunny mal anpackt, dann ist dieses Manko auch weg.So lange muss ich halt warten.
Danke für das Berechnungsbeispiel, werd ich heute nächtens eintippen, jetzt grade hats ja keinen Bezug, wenn auch die PV Zähler heute kaum drehen, obwohl, die grottenschlechte Vorhersage hab ich bald kassiert.
SMA Tripower 8/Growatt MIN 3000 TL-XE/Growatt 1500S/Growatt SPH 4600,4 ARK LV,10kWh
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
-
- Beiträge: 1592
- Registriert: Do 25. Jun 2020, 13:40
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 86 Mal
Re: InfluxDB
Hallo Andreb,
ich hoffe, wenn jetzt dieser Tage die eigentliche Software nimmer stündlich geändert wird, bohr ich den Pi wieder auf Wlan und externe HDD auf, die FritzNas läuft schon und dann kann ich mit dem Reserve Pi das "spielen" anfangen. Für mich war ja influx und linux vor 3 Monaten ja noch sowas wie Böhmisches Dorf mitten im Atlantik..
Eigenartigerweise schreiben immer noch manche Pi Blogs davon, dass die DB vorher gestoppt werden MUSS, sonst ginge es nicht
ich hoffe, wenn jetzt dieser Tage die eigentliche Software nimmer stündlich geändert wird, bohr ich den Pi wieder auf Wlan und externe HDD auf, die FritzNas läuft schon und dann kann ich mit dem Reserve Pi das "spielen" anfangen. Für mich war ja influx und linux vor 3 Monaten ja noch sowas wie Böhmisches Dorf mitten im Atlantik..
Eigenartigerweise schreiben immer noch manche Pi Blogs davon, dass die DB vorher gestoppt werden MUSS, sonst ginge es nicht
SMA Tripower 8/Growatt MIN 3000 TL-XE/Growatt 1500S/Growatt SPH 4600,4 ARK LV,10kWh
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
Re: InfluxDB
Das mit dem stoppen war auch mein Stand bei MariaDB/MySQL, aber die haben alle dazugelernt. Die Blogeinträge sind teilweise sehr alt, ich habe mir angewöhnt, keine Blogs zu lesen, wenn kein Datum der Erstellung angegeben ist
-
- Beiträge: 1217
- Registriert: Mo 22. Jun 2020, 08:58
- Wohnort: Ulm / Neu-Ulm
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 144 Mal
Re: InfluxDB
Also was die influx-DB betrifft, könnt ihr im laufenden Betrieb mit dem Befehl von Bogeyof eine Backup machen ohne danach den restart durchzuführen.
Also einfach
und gut ist.
Restore geht genauso einfach:
Mache ich immer wieder mal, wenn von meinem 2ten Raspi die DB wegen Verbindungsfehlern nicht richtig ist und ich die Datenbank vom 1. Raspi rüber kopieren will.
Also einfach
Code: Alles auswählen
sudo influxd backup -portable -database solaranzeige /Zielverzeichnis
Restore geht genauso einfach:
Code: Alles auswählen
influx
drop database solaranzeige
exit
sudo influxd restore -portable -db solaranzeige /Quellverzeichnis
Gruß Timo
Auflistung Geräte/Dashboards/Anschlussart
Datenbankfelder der einzelnen Geräte
GANZ WICHTIG: Überblick der vorhandenen Anleitungen
Fertige Komplett-Systeme gibt es hier anfragen[AT]bauer-timo[.]de
Tibber Invite (100% Öko-Strom + 50€ Bonus)
Auflistung Geräte/Dashboards/Anschlussart
Datenbankfelder der einzelnen Geräte
GANZ WICHTIG: Überblick der vorhandenen Anleitungen
Fertige Komplett-Systeme gibt es hier anfragen[AT]bauer-timo[.]de
Tibber Invite (100% Öko-Strom + 50€ Bonus)
-
- Beiträge: 1592
- Registriert: Do 25. Jun 2020, 13:40
- Hat sich bedankt: 17 Mal
- Danksagung erhalten: 86 Mal
Re: InfluxDB
@Bogeyof,
serwus, ich kau grad an Wochen oder Monatstabellen auf Grafana..die Integralfunktion ist klar, aber das ergäbe nur steigende Kurven und kein Balkendiagramm,
bei der Websuche nach dem Syntax bin ich auf folgende Seite gestossen
https://forum.iobroker.net/topic/23480/ ... ansicht/10
scroll mal runter, da wird in der Abfrage auch gleich die Zeitzone mit verheiratet, evtl ist es das , was Du suchst
Gruss
Andreas
serwus, ich kau grad an Wochen oder Monatstabellen auf Grafana..die Integralfunktion ist klar, aber das ergäbe nur steigende Kurven und kein Balkendiagramm,
bei der Websuche nach dem Syntax bin ich auf folgende Seite gestossen
https://forum.iobroker.net/topic/23480/ ... ansicht/10
scroll mal runter, da wird in der Abfrage auch gleich die Zeitzone mit verheiratet, evtl ist es das , was Du suchst
Gruss
Andreas
SMA Tripower 8/Growatt MIN 3000 TL-XE/Growatt 1500S/Growatt SPH 4600,4 ARK LV,10kWh
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5
ELWA DC WW Puffer m. 300L mittels Automation /Gesamt PV Leistung 20,5kWp gesteuert mit Pi4 und Pi5