USB-Stick 16GB voll?

Allgemeine Informationen zum Nachbau und zum Forum.
PV-Monitorung / PV Überwachung

Moderator: Ulrich

Antworten
Maverick
Beiträge: 62
Registriert: So 5. Dez 2021, 09:47
Hat sich bedankt: 13 Mal
Danksagung erhalten: 7 Mal

USB-Stick 16GB voll?

Beitrag von Maverick »

Heute Morgen hatte ich bemerkt, dass seit ca. gestern 20:30 Uhr keine Daten mehr in die influx Datenbank geschrieben wurden.
Demnach zeigte Grafana auch keine Daten mehr an.

Im syslog fand ich ich Hinweise auf fehlenden Speicherplatz, was ja eigentlich nicht sein kann. Installiert ist ein 16GB US-Stick.
Nach Neustart lief die Solaranzeige wieder. Aktuelle Systemauszüge anbei.

Wie muss ich diese jetzt deuten? 100% verwendet oder 5%? Wenn 100%, wie finde ich die Wurzel des Übels?
Besten Dank für Hilfe :)

Code: Alles auswählen

pi@solaranzeige:~ $ df -h
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        14G     14G   67M  100% /
devtmpfs        775M       0  775M    0% /dev
tmpfs           936M       0  936M    0% /dev/shm
tmpfs           936M     83M  854M    9% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
tmpfs           936M       0  936M    0% /sys/fs/cgroup
/dev/sda1       253M     50M  203M   20% /boot
tmpfs           188M       0  188M    0% /run/user/1000
Bildschirmfoto 2022-03-18 um 15.50.08.png

Benutzeravatar
Ulrich
Administrator
Beiträge: 3684
Registriert: Sa 7. Nov 2015, 10:33
Wohnort: Essen
Hat sich bedankt: 63 Mal
Danksagung erhalten: 301 Mal
Kontaktdaten:

Re: USB-Stick 16GB voll?

Beitrag von Ulrich »

Du musst herausfinden, was dir das die SD-Karte so voll gespeichert hat. Eine erste Maßnahme sind die LOG Dateien zu löschen.
Schau mal in die Unterverzeichnisse
/var/log
/var/www/log

Im Prinzip kannst du alle Dateien löschen. (Nicht die Unterverzeichnisse) und danach den Raspberry neu starten.
Ich gehe aber davon aus, dass du irgendwelche Backup Dateien noch gespeichert hast, die musst du dann finden.
--------------------------------------
Ulrich [Admin]

maria
Beiträge: 8
Registriert: So 20. Feb 2022, 10:24

Re: USB-Stick 16GB voll?

Beitrag von maria »

Guten Tag Maverik,
mit log-files kann man dieses Ergebnis fast nicht erreichen.
Ich nehme an, daß ein Backup des kompletten Raspis versucht wurde.
Es gibt nur wenige Nutzer im Forum, die dies machen und können. Mir wurde davon abgeraten.
Es genügt eine gute InfluxBackup-Routine. Dies schützt vor unnötigem Aufwand.
Gruß
maria

Maverick
Beiträge: 62
Registriert: So 5. Dez 2021, 09:47
Hat sich bedankt: 13 Mal
Danksagung erhalten: 7 Mal

Re: USB-Stick 16GB voll?

Beitrag von Maverick »

Danke Ulrich und maria. Den Verdacht hatte ich auch, wusste aber nicht, wie ich mich am besten durch die Ordner wühle.
Am Ende war es denkbar einfach. Im Ordner /mnt/nas waren noch Backupreste, welche offensichtlich durch ein nicht gemountetes NAS-Laufwerk auf der Fritz!Box dort verblieben sind.

Die Influxdb wird täglich gesichert. Das dashboard habe ich separat exportiert. Komplettbackup schalte ich jetzt ab, da ich die grundlegenden Dinge nach etwas Einarbeitungszeit und Hilfe aus dem Forum jetzt getan sind.

Der Speicherumfang hat sich jetzt auf 4,9GB reduziert.

Code: Alles auswählen

pi@solaranzeige:~ $ df -h
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        14G    4,9G  8,3G   38% /
devtmpfs        775M       0  775M    0% /dev
tmpfs           936M       0  936M    0% /dev/shm
tmpfs           936M     91M  846M   10% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
tmpfs           936M       0  936M    0% /sys/fs/cgroup
/dev/sda1       253M     50M  203M   20% /boot
tmpfs           188M       0  188M    0% /run/user/1000

andreas_n
Beiträge: 687
Registriert: Do 25. Jun 2020, 13:40
Hat sich bedankt: 16 Mal
Danksagung erhalten: 37 Mal

Re: USB-Stick 16GB voll?

Beitrag von andreas_n »

Maverick hat geschrieben:
Fr 18. Mär 2022, 19:00
Im Ordner /mnt/nas waren noch Backupreste, welche offensichtlich durch ein nicht gemountetes NAS-Laufwerk auf der Fritz!Box dort verblieben sind.
Lösch die einfach rechtzeitig raus, nen mount kann immer mal versagen, bzw die NAS offline gehen, was auch immer

setz so was in etwa in deine crontab rein, alles was älter als 7 Tage ist, wird gelöscht

46 7 * * 7 find /media/NASssd/backup -mtime +7 -type f -exec rm -rf {} \;
48 7 * * 7 find /media/NASssd/backup -empty -type d -delete
9kWp S/SO > SMA Tripower (IBN 18.6.20) + 4kWp S/SW > Growatt MIN 3000 TL-XE (IBN 31.3.21) + 2kWp Süd -19° ELWA DC Warmwasser ("IBN" 9.5.21)
3,8kWp S > Growatt SPH 4600 (IBN 22.10.21)

Maverick
Beiträge: 62
Registriert: So 5. Dez 2021, 09:47
Hat sich bedankt: 13 Mal
Danksagung erhalten: 7 Mal

Re: USB-Stick 16GB voll?

Beitrag von Maverick »

Danke Andreas, super Tip :!: Baue ich ein 👍

mstroeer
Beiträge: 3
Registriert: Do 24. Feb 2022, 17:55
Hat sich bedankt: 1 Mal

Re: USB-Stick 16GB voll?

Beitrag von mstroeer »

Hallo Maverick,

um den Plattenplatzverbrauch zu analysieren, ist das Kommando du hilfreich. Versuche mal
- du -sh /*
- du -sh /var
- du -sh /var/*
Damit findet man sehr schnell, wo der Platz verbraten wird.

Nebenbei:
Wenn Du die interne Statistik von influxdb nicht benötigst, würde ich die einfach ausschalten. Bei mir war die Datenbank _internal etwa 3x so groß wie die Datenbank solaranzeige. Hierzu muss die Datei /etc/influxdb/influxdb.conf wie folgt modifiziert werden:
...
[monitor]
# Whether to record statistics internally.
# store-enabled = true
store-enabled = false
...
Danach die Datenbank neu starten (sudo systemctl restart influxdb.service).

@Ulrich
Falls Du mitliest, erst mal herzlich Dank für das Teilen dieses tollen Projektes. Ohne Starthilfe hätte ich mich nie an dieses doch recht komplexe Thema gewagt. Für den Anfang habe ich versuchsweise meinen alten raspi 2b reaktiviert - läuft übrigens tadellos - der sich aber leider nicht von einem USB Stick starten lässt. Daher habe ich zunächst die Schreibzugriffe auf die MMC minimiert. Danach verbleibt dann im wesentlichen nur noch der Prozess "regler_auslesen.php", der pro Minute ca. 20 kB schreibt - das sagt mir zumindest iostat. Mit den mir zur Verfügung stehenden Mitteln konnte ich nicht herausfinden, wo diese Daten landen. Die Belegung der Partition wird zumindest nicht größer, d.h., es muss immer in die selbe Datei (oder eine Pipe) geschrieben werden. Hast Du eine Idee, wo die Daten liegen?
Für den Betrieb kritisch sollte die Sache nicht sein, denn auch wenn ca. 30 MB am Tag geschrieben werden, sollte eine 32 GB MMC recht lange halten. Mich würde einfach reizen, die root Partition als read only zu mounten und nur mit USB Stick und evtl. einer RAM Disk für die Daten zu arbeiten.

Gruß,
Martin

Benutzeravatar
Ulrich
Administrator
Beiträge: 3684
Registriert: Sa 7. Nov 2015, 10:33
Wohnort: Essen
Hat sich bedankt: 63 Mal
Danksagung erhalten: 301 Mal
Kontaktdaten:

Re: USB-Stick 16GB voll?

Beitrag von Ulrich »

Hallo Martin,

die interne Statistik im Influx kann ich im Image grundsätzlich ausschalten. Das ist ein guter Hinweis. Die Menge, die mitgeloggt werden soll kann man mit dem Tracelevel von 0 bis 10 einstellen. Wenn alles zufrieden läuft, ist Tracelevel = 5 richtig. Bei der Auslieferung des Image ist Tracelevel = 7 eingestellt. Wenn man Fehler sucht, ist vorübergehend Tracelevel = 8 richtig.

Die Solaranzeige ist mit der "höheren Programmiersprache" PHP programmiert. PHP überwacht und optimiert sich ständig selber. Deshalb ist es nicht so leicht herauszufinden, ob man am Abspeichern noch etwas optimieren kann oder nicht. Manches muss dann mit der php.ini gemacht werden und wer da nicht den Durchblick hat, kann das ganze System damit lahmlegen.
--------------------------------------
Ulrich [Admin]

mstroeer
Beiträge: 3
Registriert: Do 24. Feb 2022, 17:55
Hat sich bedankt: 1 Mal

Re: USB-Stick 16GB voll?

Beitrag von mstroeer »

Von der php.ini lasse ich erst mal die Finger, dafür braucht es schon etwas Hintergrundwissen.

Übrigens gibt es noch eine sehr einfache Möglichkeit, die I/O Last zu reduzieren. Man muss hierzu nur den Text Boot für den raspi aktivieren (S7 in raspi-config), dann gibt auch chrome Ruhe, das sonst laufend I/O erzeugt. Den Grafikmode für den raspi wird ohnehin kaum jemand nutzen.

Antworten