Daten aus Influx nach MariaDB senden

Die benötigte Hardware zum Nachbau. Bitte hier nur Hardware posten, die man auch selber ausprobiert hat. Nichts posten, nur weil es neu ist.

Moderator: Ulrich

Forumsregeln
Bitte nur Hardware posten, die man selber auch ausprobiert bzw. in Verwendung hat.
Online
solarfanenrico
Beiträge: 537
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 28 Mal
Danksagung erhalten: 35 Mal

Daten aus Influx nach MariaDB senden

Beitrag von solarfanenrico »

Hallo, leider habe ich alle meine Daten der Solarthermie schon immer in einer MySql-Datenbank. Habe diese dort auf verschiedenste Art visulalisiert.

Nun ist Grafana dazugekommen. Problemlos ist es möglich sämtliche Daten aus der Sql-DB in Grafana zu benutzen. Umgekehrt hatte ich jedoch nirgends eine Bauanleitung oder Programmierstruktur gefunden.

Aus diesem Grund habe ich mir einpaar Bash-scripts angefertig, und lasse am Tagesende über den jeweiligen cronjob einmal 3 scripts über den Grafanaserver und 1 script auf dem externen Server laufen, um wenigstens den neuen Zählerstand in meine MariaDB zu migrieren.

3 scripts auf dem Grafanaserver sind notwendig, weil diese moquitto-abfrage sonst unendlich läuft.

Falls jemand auch Interesse an dieser Lösung hat, darf er mich gern kontaktieren.

Benutzeravatar
Ulrich
Administrator
Beiträge: 2740
Registriert: Sa 7. Nov 2015, 10:33
Wohnort: Essen
Hat sich bedankt: 32 Mal
Danksagung erhalten: 173 Mal
Kontaktdaten:

Re: Daten aus Influx nach MariaDB senden

Beitrag von Ulrich »

Nur so als Hinweis. Für solche Aufgaben ist die neue Funktion "eigene Erweiterung" gedacht.
download/EigeneErweiterungen.pdf
--------------------------------------
Ulrich [Admin]

Online
solarfanenrico
Beiträge: 537
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 28 Mal
Danksagung erhalten: 35 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von solarfanenrico »

Ulrich hat geschrieben:
Fr 26. Mär 2021, 09:32
Nur so als Hinweis. Für solche Aufgaben ist die neue Funktion "eigene Erweiterung" gedacht.
download/EigeneErweiterungen.pdf
Hallo, habe mir das Dokument mal angesehen. Ich denke jedoch, daß es für mich keinen Sinn macht. Ich möchte am Tagesende den Wert

$aktuelleDaten["WattstundenGesamt"] = hexdec($rc["data"])*100;

aus meinem Growatt-Regler einmalig in eine MariaDB-Tabelle schreiben, und nicht laufend den Datensatz meiner MariaDB-Tabelle updaten. Auch möchte ich keine zusätzlich SQL-DB führen, sondern nur einen einzelnen Wert, zu einem gesetzten Zeitpunkt einfügen.

Grafana und Influx machen das toll, und ich wäre froh gewesen, wenn ich "Solaranzeige.de" früher entdeckt hätte.

Meine php-Kenntnisse reichen leider doch nicht weit genug, um die neue growatt_math.php nur zu einem festen Zeitpunkt zu starten und nach Erfolg auch zu beenden.
Zur Entschuldigung wegen dem Mißverständnis möchte ich meinen Eingangspost zitieren Zitat: ... um wenigstens den neuen Zählerstand in meine MariaDB zu migrieren." Zitatende
Das "wenigstens" ist unglücklich formuliert, da ich persönlich nur diesen einen Wert benötige.
Liebe Grüße
Enrico

Benutzeravatar
Ulrich
Administrator
Beiträge: 2740
Registriert: Sa 7. Nov 2015, 10:33
Wohnort: Essen
Hat sich bedankt: 32 Mal
Danksagung erhalten: 173 Mal
Kontaktdaten:

Re: Daten aus Influx nach MariaDB senden

Beitrag von Ulrich »

Hallo Enrico,

das sollte ja auch nur ein Hinweis sein, da viele Mitglieder so etwas oder Ähniches planen.
Damit wollte ich nicht sagen, dass du irgend etwas ändern sollst. Hauptsache es funktioniert. Das ist das Wichtigste.
--------------------------------------
Ulrich [Admin]

Online
solarfanenrico
Beiträge: 537
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 28 Mal
Danksagung erhalten: 35 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von solarfanenrico »

Danke für die Rückmeldung.
Ja, es funktioniert, und die meisten Anregungen habe ich im Forum recherchiert.

Inzwischen habe ich auch die SSD mit mSataController zum laufen. Auch das funktioniert einwandfrei. Mein einziges Problem ist die multi_regler Sache.
Ich bin sicher nicht unwissend und auch experimentierfreudig. Aber 2 Growatt-Inverter bringe ich nicht über den USB/R485 Anschluss sauber getrennt.

Aber ich werde dran bleiben, und melde mich wenn ich es geschafft habe. Es sollte eigentlich kein Problem sein, denn getrennt laufen die super.
sonnige Grüße
Enrico

TeamO
Beiträge: 357
Registriert: Mo 22. Jun 2020, 08:58
Hat sich bedankt: 4 Mal
Danksagung erhalten: 59 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von TeamO »

Wo ist den das Problem mit den beiden RS485-USB-Adaptern?

Wegen dem einmaligen Übertragen von dem gewünschten Wert:
Das könntest Du doch trotzdem über ein eigenes Script machen, bei dem der Wert halt nur übertragen wird, wenn die Uhrzeit zwischen 23:58 und 23:59 ist.

Online
solarfanenrico
Beiträge: 537
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 28 Mal
Danksagung erhalten: 35 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von solarfanenrico »

Hallo, diesen Denkansatz hatte ich auch schon. Bin dann leider nicht weiter gekommen.
Momentan sieht meine Lösung so aus.
Ich habe zwei RPi4, für jeden das selbe Grafana und Influx und die selbe Dateistruktur usw. Auf jedem im Prinzip die Singleversion laufen.

In einem gemeinsamnen Dashboard frage ich nur die unterschiedlichen über unterschiedliche Datasources die beiden IP ab.

Diese Doppellösung muß ich derzeit nehmen, weil ich die Multireglerversion nicht hinbekomme.

Egal, was ich bisher probiert habe die Daten werden generell in die InfluxDB geschrieben, welche in der 2.user.config.php benannt ist.
Die solaranzeige.log bringt keine Fehlermeldung sondern schreibt für 1.user.... bereits Datensenden an die selbe, wie später in der 2.user....

Mit den USB/RS485 Adaptern habe ich bereits folgendes probiert. Beide jeweils an einen andern USB-Anschluss.
lsusb erkennt einen auf "Bus 001 Device 004: ID ... Future Technology Devices International, Ltd FT232 Serial (UART) IC"
Den zweiten auf "Bus 001 Device 006: ID ..... Future Technology Devices International, Ltd FT232 Serial (UART) IC"

Hier wird jeweils nur einer von beiden durch die growatt.php erkannt.
Der andere wird ignoriert.

Schließe ich beide Inverter parallel an den Adapter sieht es dann so aus.

Schreibe ich in in 1.user... $USBDevice = "/dev/ttyUSB0"; und in die 2.user.... ebenfalls $USBDevice = "/dev/ttyUSB0";
so werden nur die lokale und externe Datenbank befüllt, die inder 2.user... benannt sind

Analog wenn ich die $USBDevice = "/dev/ttyUSB0"; für 1.user--- nehme und in 2.user....$USBDevice = "/dev/ttyUSB1"; schreibe

es wird generell nur die InfuxDB aus 2.user.... bedient.
Je nachdem welchen RS485 Stecker aus den Reglern entferne, nimmt der Broker die jeweils die Daten, des verbliebenen. Aber schreibt sie eben in die von 2.user....

Und völlig egal, ob ich den Pi reboote oder nicht, es ist immer das selbe Ergebnis.
Es ist seltsam

TeamO
Beiträge: 357
Registriert: Mo 22. Jun 2020, 08:58
Hat sich bedankt: 4 Mal
Danksagung erhalten: 59 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von TeamO »

Schick mir doch eine E-Mail mit Deinen Kontaktdaten. Dann könnte ich mir das mal bei Dir über Teamviewer anschauen und Dir helfen.
Das jetzt hier alles zu erklären wird wohl etwas umständlich.

Online
solarfanenrico
Beiträge: 537
Registriert: Mi 20. Jan 2021, 19:49
Hat sich bedankt: 28 Mal
Danksagung erhalten: 35 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von solarfanenrico »

:D Hallo Timo,
hier ist ein überglücklicher solaranzeigen-Nutzer. Danke für die Hilfe. In der Zwischenzeit habe ich nun eine RPi4 4GBRam mit 36GB SSD und mSata-Controller frei bekommen. Und die Multi-Regelung funktioniert. Durch Backup und Restore habe ich auch die Dateien wieder auf dem Laufenden.

Ein absolutes Daumenhoch für die Hilfe.

sonnige Grüße Enrico

TeamO
Beiträge: 357
Registriert: Mo 22. Jun 2020, 08:58
Hat sich bedankt: 4 Mal
Danksagung erhalten: 59 Mal

Re: Daten aus Influx nach MariaDB senden

Beitrag von TeamO »

Freut mich, dass ich helfen konnte. :D

Antworten