InfluxDB aufräumen / Downsample

[ksapp]

Hallo,

bei mir läuft die Solaranzeige seit 2021. Mittlerweile wird die Datenbank recht groß und ich suche nach einer Möglichkeit 'alte' Daten in umzuschreiben, das sie nicht mehr minütlich, sondern, z.B 15 minütig gespeichert werden.
Das Wartungsskript 'wartung.php' löscht alle Daten, die älter als x. Wochen alt sind. Das ist nicht, was ich suche.
Hat jemand schonmal mir den 'Retention Policys' von Influx gearbeitet und kann Infos dazu geben ?

Gruß
Oliver

[TeamO]

Ich habe Dir hier leider keine Lösung, aber mich wundert es, dass Du meinst die Datenbank recht groß ist.
bei mir läuft seit 2020 die Solaranzeige mit minütlichem Auslesen vom Wechselrichter. Dann kann noch der Speicher und dann noch vzlogger für zwei Zähler dazu.
Jetzt haben diese Datenbanken gerade mal 710MB. Meine 64GB SD-Karte (59GB für /dev/root/) ist gerade mal zu 14% in Verwendung.
Ich werde es sicher nicht erleben, dass durch die Datenbanken der Speicher voll wird.
Hast Du eventuell nur eine kleine SD-Karte/USB-Stick verwendet und/oder nicht den ganzen Speicher freigegeben?

[ksapp]

Hallo Timo,

die SD-Karte ist kein Problem. Ich habe das Ganze auf einem RPI3 laufen und der Arbeitspeicher läuft manchmal voll und InfluxDB wird dann gekillt. Aufgefallen ist mir das auch, weil das Backup immer länger dauert.
Der Inhalt des Verzeichnisses /var/lib/influxdb/data ist bei mir aktuell 747M innerhalb von zwei Jahren. Ich habe die Datenbank allerdings auch um viele Dinge erweitert.
Auf jeden Fall ist es interessant, das du so wenig Speicher innerhalb von 4 Jahren voll geschrieben hast.

Danke
Oliver

[TeamO]

Naja, /var/lib/influxdb/data ist bei mir auch mit ca. 810MB etwas größer, da dort ja auch die eigene DB von influx liegt. Dennoch ist das wenig im Vergleich zur speichergröße.
Problem ist bei Dir dann eher der RPi3 und eventuell eine zu langsame SD-Karte.
Hier hilft sicher der Wechsel auf eine RPi4 mit 2GB oder sogar 4GB RAM und eventuell eine schnellere SD-Karte, bzw. USB3.0-Stick oder gleich eine SSD.
Ich habe mit meinem RPi4 und SanDisk Ultra SD-Karten keine Probleme. Auch nicht beim Vollbackup.