Grenzen für Influx DB

[jensner]

Du suchst jetzt noch 2 Wochen nach dem Influx Problem und danach installierst du es eh neu weil nix gefunden..

2WR und paar Batterien sollten ja wohl nicht bremsen..bei mir rennen 12 Devices(Datenbanken), was soll dann ich sagen?

Hi Andreas,

welchen Abfragezyklus hast Du denn bei Dir eingestellt?
Wenn ich mir die Datenübertragung via

Code: Alles auswählen

mosquitto_sub -v -t "#"

anschaue, haut der schon im 15 Sekundentakt Massen an Daten in die DB. Da kann ich schon verstehen, dass das schnell voll wird.
Ich habe insgesamt 5 Neey laufen, die über ESP32 abgefragt werden.
Verm. sollte ich hier den Abfragezyklus mal etwas hoch setzen

Gruß Jens

[andreas_n]

welchen Abfragezyklus hast Du denn bei Dir eingestellt?
Wenn ich mir die Datenübertragung anschaue, haut der schon im 15 Sekundentakt Massen an Daten in die DB.

Moin..
ich hab derzeit noch 2 PI am Laufen..ist historisch so gewachsen und die PV auch, ..pro Device 1mal in der Minute.

Ne Abfrage im 10sek Takt halte ich für völligen Unsinn, weil erstens wir kein AKW regeln und zweitens die Datenmenge völlig sinnlos ist,nutzlos allemal. Für die Automation braucht man es nicht (da kanns sogar schädlich sein @Relais, je nach Last) und jeden Kondensstreifen und vorbei fliegenden Vogel muss ich auch nicht als Ertragsdelle sehen..weil nach spätestens 1 Minute eh alles anders ist. UND: ganz "Verrückte" lassen dann die Hersteller zugehörigen Portale auch noch mitlaufen, mit so Daten alle 5min...selbst das wär noch völlig ausreichend, mMn.Du futterst ja auch nicht jeden Döner den du theoretisch vom Spiess absäbeln kannst...bildlich gesprochen..

Viel wichtiger ist ein absolut stabiles System ohne Datencrash und nölige Fehlersuche.
Da hab ich gute zwei Jahre dran gehängt das rauszufinden. Das Ergebnis war dann verblüffend..die Fritze hatte Temperatur Probleme..also Wechsel, dann gings Anfangs wieder ein Jahr..bis erneut WLAN Probleme auftraten..nun hab ich Dödel auch noch das aktuelle 8.02er Update einspielen lassen, seither liegt wieder die Axt neben der Fritze (7590)..mal verteilt sie IPs nach gut dünken im völlig falschen Adressraum, mal sperrt sie mein Smartfon aus oder WLAN geht gar nix, weil 3mal am Tag eigenmächtiges Reboot..also kommt wieder ne uralt ReserveFritz dran, damit das Haus weiter läuft und die 7590 wieder inne Karton nach Berlin. Leider findet sich kein Download der Vorgänger 7.5x.
Wenn ich nä Jahr dann den Anbieter DSL wechsle..gehen meine alten Fritzen nimmer..ok, dann ist auch der WLAN Fehler mit USB3.0 weg..

[jensner]

Oh je... Eine wahre Leidensgeschichte.
Ich habe bei mir bei der letzten alle Abfrage-Intervalle, auch die der ESP32 (Abfrage der 5 Neey) auf 1 Min. hochgedreht.
Ein kleineres Intervall mach t wirklich keinen Sinn, jedoch beim Toppalancing ist das schon ganz hilfreich.
Aber dafür habe ich einen fetten 15A Neey und einen eigenen ESP32.
Der kann ja mit dem Intervall betrieben werden, solange ich (1 x pro Jahr) am Topbalancen bin.

Kurzes Update zum Thema InfluxDB.
Nachdem meine Kiste seit der letzten Aktion völlig problemlos lief, gibts seit heute scheinbar wieder die gleichen Probleme.
Folglich werde ich mich dieses Wochenende der Sache nochmals annehmen müssen.

Irgendwie muss das mit der Speicheralocation zu tun haben.

Code: Alles auswählen

runtime: out of memory: cannot allocate 4194304-byte block (681934848 in use)
Feb 22 07:33:28 solaranzeige influxd[2064]: fatal error: out of memory
Feb 22 07:33:28 solaranzeige influxd[2064]: goroutine 7692 [running]:

Gibts irgendwo in der influxdb-Config eine Speciherbegrenzung pro Datenbank oder weist dies auf nen Blockfehler auf der SSD hin?

Hier noch meine Speicherbelegung

Code: Alles auswählen

pi@solaranzeige:~ $ df -a
Dateisystem    1K-Blöcke  Benutzt Verfügbar Verw% Eingehängt auf
/dev/root      961613432 40991212 881533724    5% /
devtmpfs         3735168        0   3735168    0% /dev
proc                   0        0         0     - /proc
sysfs                  0        0         0     - /sys
securityfs             0        0         0     - /sys/kernel/security
tmpfs            3999392        0   3999392    0% /dev/shm
devpts                 0        0         0     - /dev/pts
tmpfs            1599760     1340   1598420    1% /run
tmpfs               5120        4      5116    1% /run/lock
cgroup2                0        0         0     - /sys/fs/cgroup
pstore                 0        0         0     - /sys/fs/pstore
bpf                    0        0         0     - /sys/fs/bpf
systemd-1              0        0         0     - /proc/sys/fs/binfmt_misc
mqueue                 0        0         0     - /dev/mqueue
debugfs                0        0         0     - /sys/kernel/debug
sunrpc                 0        0         0     - /run/rpc_pipefs
tracefs                0        0         0     - /sys/kernel/tracing
configfs               0        0         0     - /sys/kernel/config
fusectl                0        0         0     - /sys/fs/fuse/connections
/dev/sda1         261108    51638    209470   20% /boot
tmpfs             799876       16    799860    1% /run/user/1000
gvfsd-fuse             0        0         0     - /run/user/1000/gvfs

Muss jetzt erstmal arbeiten und kann erst Abend wieder suchen...
Gruß Jens

[andreas_n]

moin,

iss ja schick ne Terrabyte SSD, der Grösse nach ne Kingston?, zu verwenden...aber wie willst du jemals nen Image davon schreiben?
Klar, zippen kann man alles..aber die Partitionsgrösse ist waaay 2much.
Wenn das wirklich von der SSD herkommt, dann würde ich schleunigst handeln...

[jensner]

Du meinst evtl. SSD-Ausfall im Anflug?
Dachte mir bzgl. Hardware "Viel hilft viel"
Scheint wohl nicht so zu sein...

[andreas_n]

Du hast Fehlermeldungen, die ich so nicht nachvollziehen kann. Wenn Blöcke ausfallen, muss mMn die SSD gecheckt werden..
Und viel ist nicht immer hilfreich, nee 960GB grosse Partition, wo auch 32GB völlig dicke ausreichen würden..ich selbst hab die 6.11er auf 21 gigaBIT Partition laufen bei ca 63% Belegung.
Irgend ne andere SSD in Griffweite?
"Kopier" das System mal um und dann beobachte

[jensner]

OK, leider fehlt mir hier das Fachwissen bzgl. Rasperry.
Dann hol ich mir ne andere NVMe SSD.
Welche Größe wäre dann Deiner Meinung nach sinnvoll?

[andreas_n]

ne NVMe...hmmm, die war aber nicht vom Ali?
Da könnte schon der Adapter/Controller nen Macke haben...ne ganz normale SSD im externen Gehäuse, geht auch mit nem USB3.0 Stick der schnell genug ist.
ALS "Platte" nehm ich grundsätzlich nur Samsung oder Intenso
120GB kosten 9.90, 240 ca 15.50 bei Reichelt

Ne alte Drehscheibe die nicht viel beim Hochlauf an Strom futtert, geht übrigens auch, hab hier Samsung HDDs mit 320GB die nehmen grad so 400mA/5V

[Ulrich]

Wenn SSD ausfallen werden sie a) nicht richtig gekühlt oder b) das Netzteil ist zu schwach bzw. nicht stabil genug oder c) einfach schon viel zu alt.

C kann man in der Regel ausschließen, also bleiben A und B noch übrig.
So eine SSD kann temperaturmäßig schon einiges ab. B ist also die häufigste Ursache.

Was heute so alles als 5V Netzteil auf dem Markt ist.....

[jensner]

Wenn SSD ausfallen werden sie a) nicht richtig gekühlt oder b) das Netzteil ist zu schwach bzw. nicht stabil genug oder c) einfach schon viel zu alt.

C kann man in der Regel ausschließen, also bleiben A und B noch übrig.
So eine SSD kann temperaturmäßig schon einiges ab. B ist also die häufigste Ursache.

Was heute so alles als 5V Netzteil auf dem Markt ist.....

Korrekt, die erste Platte im alten Gehäuse war mir damals den Hitzetod gestorben.
Habe jedoch ein neues Gehäuse genommen und grad auch nochmal die Temperatur abgefragt. 35°