InfluxDB

Allgemeine Informationen zum Nachbau und zum Forum.
PV-Monitorung / PV Überwachung
andreas_n
Beiträge: 88
Registriert: Do 25. Jun 2020, 13:40

InfluxDB

Beitrag von andreas_n »

Moin ins Forum!

Ich hab ne Verständnisfrage zur influx Datenbank.

Das sie nicht einfach kopiert werden kann, wird immer geschrieben..aber wenn der Pi sauber mit "poweroff" runtergefahren wird, ist doch nach meinem Verständnis auch die DB inaktiv. In dem Zustand müsste sie doch auf eine zweite SD transferiert werden können.

Hintergrund..bei mir werkeln 2 Pis, der Haupt pi schreibt drei WR mit (davon 2mal sonoff) ,der Zweit Pi rennt als Reserve und schreibt die beiden Sonoff´s nicht mit...
Gestern abend hat sich die SD des Haupt Pis nimmer lesen lassen für ein Backup-Image, läuft im Pi aber noch (warum das so ist, keine Ahnung, Imageerstellung dauert ewig und dann Abbruch)..ich würde die beiden sonoff Datenbanken (solaranzeige 2 und Solaranzeige3) gerne retten.

Beide Pi´s runterfahren und unter Linux die beiden DB auf die noch lesefähige SD kopieren?
Was müsste noch kopiert/gesichert werden?
(Die Dashboards hab ich schon weggesichert)

Schönen Wochenstart
Andreas

Bogeyof
Beiträge: 152
Registriert: Mi 13. Mai 2020, 10:04

Re: InfluxDB

Beitrag von Bogeyof »

Man kann auch eine Sicherung der laufenden Datenbank im Betrieb machen:

Code: Alles auswählen

sudo influxd backup -portable -database solaranzeige /Zielverzeichnis
sudo service influxdb restart
Mit dem gleichen Befehl und "restore" statt "backup" kann man diese Sicherung wiederherstellen. Damit könnte es klappen...

andreas_n
Beiträge: 88
Registriert: Do 25. Jun 2020, 13:40

Re: InfluxDB

Beitrag von andreas_n »

Hallo Bogeyof,

muss die Datenbank vor dem Copy nicht gestoppt werden?
Ich kenn das (noch aus der Theorie, weil die Hardware aussenrum erst noch wachsen muss), dass die influxDB gestoppt werden muss, dann copy, danach DB wieder starten. In meinem Fall wo die SD sich nicht auslesen lies(am nächsten morgen wollte es dann doch klappen), wäre ja die DB sauber runtergefahren worden und in dem Zustand eigentlich kopierfähig, ohne Abstürze. Werde das am WE austesten wenn mehr Zeit

Zur Zeit grübel ich noch über den Bezugszähler...der Sunny HM2.0 schreibt andere Werte in den WR wie die Solaranzeige in die Datenbank schiebt, damit kann ich vorerst alle Grafiken zu Autarkie etc pp hinten anstellen.Noch dazu legt der WR nachts Ruhepause ein, aber dennoch werden dann alle 20min Werte in die Datenbank geschrieben, aber die erscheinen nicht in Grafana/Dashboard *grübel*
Hast Du ne Lösung wie man diese 20minütigen Werte vernünftig aufsummiert? Man müsste vermutlich mit nem .php diese Werte direkt aus der DB abholen...für diese Balkenanzeige im Dashboard würde es (mir) sogar langen, wenn jeweils Mitternacht der Wert abgeholt würde und die Differenz zum Vortag als Balken erscheint

Pi´s laufen beide immer noch, am WE werde ich einen dann per Wlan anbinden zwecks Test, ob dies für die Abstürze verantwortlich war, ich glaubs ja nicht. Der andere bekommt ne 250gb HDD verpasst, das sollte besser halten als die SDs

Gruss
Andreas

Bogeyof
Beiträge: 152
Registriert: Mi 13. Mai 2020, 10:04

Re: InfluxDB

Beitrag von Bogeyof »

Laut der Beschreibung von Influx, in welcher dieser Befehl zur Sicherung auch beschrieben ist, muss wohl nicht extra gestoppt werden. Möglicherweise macht das der Befehl selbst, daher auch zur Sicherheit der Befehl zum Restart des Service im Anschluss.
Was Dein WR für Ruhepausen macht kann ich nicht sagen. Wenn Du nur alle 20 min einen Wert hast, ist die Genauigkeit natürlich ziemlich eingeschränkt. Trotzdem müsste es mit dem Integral-Befehl zumindest für Zeitabschnitte > 20 Minuten darstellbar sein (Beispiel wäre für Stündliche Werte):

Code: Alles auswählen

SELECT integral("Verbrauch_Netz",1h)  FROM "AC" WHERE $timeFilter GROUP BY time(1h) fill(linear)
Wenn du es z.B. für einen Tag zusammenfassen willst, dann:

Code: Alles auswählen

SELECT integral("Verbrauch",1h) FROM "AC" WHERE $timeFilter GROUP BY time(1d,-2h) fill(linear)
Der Zeitversatz "-2h" berücksichtigt dabei die lokale Zeit gegenüber den in der Datenbank abgelegten Daten mit UTC. Wahrscheinlich muss im Winter dies alles auf "-1h" angepasst werden. Dafür habe ich noch keine Lösung...

Wenn der Integralbefehl nicht funktioniert, dann hänge noch ein "and Verbrauch > 0" an die Where-Klausel an:

Code: Alles auswählen

SELECT integral("Verbrauch_Netz",1h)  FROM "AC" WHERE $timeFilter and Verbrauch > 0 GROUP BY time(1h) fill(linear)

Andreb
Beiträge: 21
Registriert: Mi 15. Jul 2020, 21:01
Wohnort: Stuhr

Re: InfluxDB

Beitrag von Andreb »

Gute Datenbanken - also eigentlich alle - können inzwischen ein Backup im laufenden Betrieb machen und das sogar konsistent.

andreas_n
Beiträge: 88
Registriert: Do 25. Jun 2020, 13:40

Re: InfluxDB

Beitrag von andreas_n »

Bogeyof hat geschrieben:
Di 6. Okt 2020, 11:23
Wahrscheinlich muss im Winter dies alles auf "-1h" angepasst werden. Dafür habe ich noch keine Lösung...
Hi, man müsste das Dashboard auf UTC einstellen, dann ist auch der Versatz ,-2h nicht notwendig, blöderweise stimmen dann die Charts nicht. Ich lasse lieber die Charts in der Uhrzeit korrekt und die dunkle Winterzeit läuft dann halt mit 1h Versatz. Ist blöde eigentlich, aber es beträfe ja "nur" die Bezugswerte aus dem Netz /Tag. Relativ gesehen dürfte sich in den Autarkieberechnungen das weit hinterm Komma bemerkbar machen, im Prinzip verschiebt sich einmalig pro Winter/Sommerzeitumschaltung der Nachtbezug von ca 200-400 Watt, je nachdem ob grade die Ölheizung anspringt oder auch nicht..

Mein WR ( SMA Tripower 8.0) spuckt in die Logdatei nur die Einspeise und Leistungsdaten, in die Influx aber die seit Inbetriebnahme den Import_Wh_ GESAMT.
Also keine Einzelwerte. Der zum WR zugehörige Homemanager soll ja irgendwann als Gerät implementiert werden. Jedenfalls testweise mit dem doch ähnlichen Kostal Smartmeter ist er nicht kompatibel, das hab ich schon getestet. Ich denke wenn Ulrich den Sunny mal anpackt, dann ist dieses Manko auch weg.So lange muss ich halt warten.

Danke für das Berechnungsbeispiel, werd ich heute nächtens eintippen, jetzt grade hats ja keinen Bezug, wenn auch die PV Zähler heute kaum drehen, obwohl, die grottenschlechte Vorhersage hab ich bald kassiert.

andreas_n
Beiträge: 88
Registriert: Do 25. Jun 2020, 13:40

Re: InfluxDB

Beitrag von andreas_n »

Hallo Andreb,

ich hoffe, wenn jetzt dieser Tage die eigentliche Software nimmer stündlich geändert wird, bohr ich den Pi wieder auf Wlan und externe HDD auf, die FritzNas läuft schon und dann kann ich mit dem Reserve Pi das "spielen" anfangen. Für mich war ja influx und linux vor 3 Monaten ja noch sowas wie Böhmisches Dorf mitten im Atlantik.. :lol:

Eigenartigerweise schreiben immer noch manche Pi Blogs davon, dass die DB vorher gestoppt werden MUSS, sonst ginge es nicht

Andreb
Beiträge: 21
Registriert: Mi 15. Jul 2020, 21:01
Wohnort: Stuhr

Re: InfluxDB

Beitrag von Andreb »

Das mit dem stoppen war auch mein Stand bei MariaDB/MySQL, aber die haben alle dazugelernt. Die Blogeinträge sind teilweise sehr alt, ich habe mir angewöhnt, keine Blogs zu lesen, wenn kein Datum der Erstellung angegeben ist

TeamO
Beiträge: 41
Registriert: Mo 22. Jun 2020, 08:58

Re: InfluxDB

Beitrag von TeamO »

Also was die influx-DB betrifft, könnt ihr im laufenden Betrieb mit dem Befehl von Bogeyof eine Backup machen ohne danach den restart durchzuführen.
Also einfach

Code: Alles auswählen

sudo influxd backup -portable -database solaranzeige /Zielverzeichnis
und gut ist.
Restore geht genauso einfach:

Code: Alles auswählen

influx
drop database solaranzeige
exit
sudo influxd restore -portable -db solaranzeige /Quellverzeichnis 
Mache ich immer wieder mal, wenn von meinem 2ten Raspi die DB wegen Verbindungsfehlern nicht richtig ist und ich die Datenbank vom 1. Raspi rüber kopieren will.

andreas_n
Beiträge: 88
Registriert: Do 25. Jun 2020, 13:40

Re: InfluxDB

Beitrag von andreas_n »

@Bogeyof,

serwus, ich kau grad an Wochen oder Monatstabellen auf Grafana..die Integralfunktion ist klar, aber das ergäbe nur steigende Kurven und kein Balkendiagramm,
bei der Websuche nach dem Syntax bin ich auf folgende Seite gestossen

https://forum.iobroker.net/topic/23480/ ... ansicht/10

scroll mal runter, da wird in der Abfrage auch gleich die Zeitzone mit verheiratet, evtl ist es das , was Du suchst

Gruss
Andreas

Antworten