USB-Stick 16GB voll?

[Maverick]

Heute Morgen hatte ich bemerkt, dass seit ca. gestern 20:30 Uhr keine Daten mehr in die influx Datenbank geschrieben wurden.
Demnach zeigte Grafana auch keine Daten mehr an.

Im syslog fand ich ich Hinweise auf fehlenden Speicherplatz, was ja eigentlich nicht sein kann. Installiert ist ein 16GB US-Stick.
Nach Neustart lief die Solaranzeige wieder. Aktuelle Systemauszüge anbei.

Wie muss ich diese jetzt deuten? 100% verwendet oder 5%? Wenn 100%, wie finde ich die Wurzel des Übels?
Besten Dank für Hilfe

Code: Alles auswählen

pi@solaranzeige:~ $ df -h
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        14G     14G   67M  100% /
devtmpfs        775M       0  775M    0% /dev
tmpfs           936M       0  936M    0% /dev/shm
tmpfs           936M     83M  854M    9% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
tmpfs           936M       0  936M    0% /sys/fs/cgroup
/dev/sda1       253M     50M  203M   20% /boot
tmpfs           188M       0  188M    0% /run/user/1000

[Ulrich]

Du musst herausfinden, was dir das die SD-Karte so voll gespeichert hat. Eine erste Maßnahme sind die LOG Dateien zu löschen.
Schau mal in die Unterverzeichnisse
/var/log
/var/www/log

Im Prinzip kannst du alle Dateien löschen. (Nicht die Unterverzeichnisse) und danach den Raspberry neu starten.
Ich gehe aber davon aus, dass du irgendwelche Backup Dateien noch gespeichert hast, die musst du dann finden.

[Maverick]

Danke Ulrich und maria. Den Verdacht hatte ich auch, wusste aber nicht, wie ich mich am besten durch die Ordner wühle.
Am Ende war es denkbar einfach. Im Ordner /mnt/nas waren noch Backupreste, welche offensichtlich durch ein nicht gemountetes NAS-Laufwerk auf der Fritz!Box dort verblieben sind.

Die Influxdb wird täglich gesichert. Das dashboard habe ich separat exportiert. Komplettbackup schalte ich jetzt ab, da ich die grundlegenden Dinge nach etwas Einarbeitungszeit und Hilfe aus dem Forum jetzt getan sind.

Der Speicherumfang hat sich jetzt auf 4,9GB reduziert.

Code: Alles auswählen

pi@solaranzeige:~ $ df -h
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/root        14G    4,9G  8,3G   38% /
devtmpfs        775M       0  775M    0% /dev
tmpfs           936M       0  936M    0% /dev/shm
tmpfs           936M     91M  846M   10% /run
tmpfs           5,0M    4,0K  5,0M    1% /run/lock
tmpfs           936M       0  936M    0% /sys/fs/cgroup
/dev/sda1       253M     50M  203M   20% /boot
tmpfs           188M       0  188M    0% /run/user/1000

[andreas_n]

Im Ordner /mnt/nas waren noch Backupreste, welche offensichtlich durch ein nicht gemountetes NAS-Laufwerk auf der Fritz!Box dort verblieben sind.

Lösch die einfach rechtzeitig raus, nen mount kann immer mal versagen, bzw die NAS offline gehen, was auch immer

setz so was in etwa in deine crontab rein, alles was älter als 7 Tage ist, wird gelöscht

46 7 * * 7 find /media/NASssd/backup -mtime +7 -type f -exec rm -rf {} \;
48 7 * * 7 find /media/NASssd/backup -empty -type d -delete

[Maverick]

Danke Andreas, super Tip Baue ich ein

[mstroeer]

Hallo Maverick,

um den Plattenplatzverbrauch zu analysieren, ist das Kommando du hilfreich. Versuche mal
- du -sh /*
- du -sh /var
- du -sh /var/*
Damit findet man sehr schnell, wo der Platz verbraten wird.

Nebenbei:
Wenn Du die interne Statistik von influxdb nicht benötigst, würde ich die einfach ausschalten. Bei mir war die Datenbank _internal etwa 3x so groß wie die Datenbank solaranzeige. Hierzu muss die Datei /etc/influxdb/influxdb.conf wie folgt modifiziert werden:
...
[monitor]
# Whether to record statistics internally.
# store-enabled = true
store-enabled = false
...
Danach die Datenbank neu starten (sudo systemctl restart influxdb.service).

@Ulrich
Falls Du mitliest, erst mal herzlich Dank für das Teilen dieses tollen Projektes. Ohne Starthilfe hätte ich mich nie an dieses doch recht komplexe Thema gewagt. Für den Anfang habe ich versuchsweise meinen alten raspi 2b reaktiviert - läuft übrigens tadellos - der sich aber leider nicht von einem USB Stick starten lässt. Daher habe ich zunächst die Schreibzugriffe auf die MMC minimiert. Danach verbleibt dann im wesentlichen nur noch der Prozess "regler_auslesen.php", der pro Minute ca. 20 kB schreibt - das sagt mir zumindest iostat. Mit den mir zur Verfügung stehenden Mitteln konnte ich nicht herausfinden, wo diese Daten landen. Die Belegung der Partition wird zumindest nicht größer, d.h., es muss immer in die selbe Datei (oder eine Pipe) geschrieben werden. Hast Du eine Idee, wo die Daten liegen?
Für den Betrieb kritisch sollte die Sache nicht sein, denn auch wenn ca. 30 MB am Tag geschrieben werden, sollte eine 32 GB MMC recht lange halten. Mich würde einfach reizen, die root Partition als read only zu mounten und nur mit USB Stick und evtl. einer RAM Disk für die Daten zu arbeiten.

Gruß,
Martin

[Ulrich]

Hallo Martin,

die interne Statistik im Influx kann ich im Image grundsätzlich ausschalten. Das ist ein guter Hinweis. Die Menge, die mitgeloggt werden soll kann man mit dem Tracelevel von 0 bis 10 einstellen. Wenn alles zufrieden läuft, ist Tracelevel = 5 richtig. Bei der Auslieferung des Image ist Tracelevel = 7 eingestellt. Wenn man Fehler sucht, ist vorübergehend Tracelevel = 8 richtig.

Die Solaranzeige ist mit der "höheren Programmiersprache" PHP programmiert. PHP überwacht und optimiert sich ständig selber. Deshalb ist es nicht so leicht herauszufinden, ob man am Abspeichern noch etwas optimieren kann oder nicht. Manches muss dann mit der php.ini gemacht werden und wer da nicht den Durchblick hat, kann das ganze System damit lahmlegen.

[mstroeer]

Von der php.ini lasse ich erst mal die Finger, dafür braucht es schon etwas Hintergrundwissen.

Übrigens gibt es noch eine sehr einfache Möglichkeit, die I/O Last zu reduzieren. Man muss hierzu nur den Text Boot für den raspi aktivieren (S7 in raspi-config), dann gibt auch chrome Ruhe, das sonst laufend I/O erzeugt. Den Grafikmode für den raspi wird ohnehin kaum jemand nutzen.

[stefan3107]

Du musst herausfinden, was dir das die SD-Karte so voll gespeichert hat. Eine erste Maßnahme sind die LOG Dateien zu löschen.
Schau mal in die Unterverzeichnisse
/var/log
/var/www/log

Im Prinzip kannst du alle Dateien löschen. (Nicht die Unterverzeichnisse) und danach den Raspberry neu starten.
Ich gehe aber davon aus, dass du irgendwelche Backup Dateien noch gespeichert hast, die musst du dann finden.

Hallo zusammen
bei mir ist auch mein Speicher vollgelaufen, ich habe schon einige Log Dateien gelöscht aber vermutlich eine Zuviel da der WR nicht mehr ausgelesen wird. Spiele jetzt das Backup wieder zurück um es nochmals zu versuchen.
Nun meine Frage: Welche Dateien kann ich da löschen? "Im Prinzip kannst du alle Dateien löschen" ????
DANKE lg Stefan

[Ulrich]

Alle Dateien in /var/log/, aber keine Unterverzeichnisse! [Nach dem Löschen den Raspberry neu starten!]
Die Datei /var/www/log/solaranzeige.log

Wenn dir die SD Karte voll gelaufen ist, dann hast du vergessen den restlichen Speicher freizugeben, so wie in der Installationsanleitung beschrieben.
Siehe auch hier: download/Speicher_erweitern.pdf

Eine 16GB SD-Karte kann, nur von der Solaranzeigen Software, nicht voll laufen.