Bevor wir die Zusammenhänge zwischen Big Data und IoT-Anwendungen erläutern, brauchen wir zunächst eine Definition für beide Begriffe. Anschließend werden wir uns ansehen, wie sie zusammenarbeiten, und einige praktische Beispiele anführen, damit Sie Big Data für das IoT in der Praxis kennenlernen können.

Werfen wir zunächst einen Blick auf das Internet of Things.

Was ist das Internet of Things (IoT)?

Vereinfacht ausgedrückt ist das Internet of Things (deutsch: Internet der Dinge), kurz IoT, die Bezeichnung für eine Vielzahl vernetzter Geräte. IoT-Geräte können von persönlichen Smart-Geräten wie Apple Watches oder FitBits bis hin zu einer großen Produktionsanlage reichen.

Um wirklich zu verstehen, wie IoT und Big Data zusammenarbeiten, ist es hilfreich, zu verstehen, wie die IoT-Technologie normalerweise funktioniert. Das Internet of Things besteht aus zwei Hauptbestandteilen: Sendern und Empfängern. Ein Sender verschickt Daten, die dann von einem Sensor auf der Empfängerseite aufgenommen und verarbeitet werden.

Viele Geräte können, je nach Anwendung, sowohl als Sender als auch als Empfänger fungieren.

Damit Sie sich das IoT in Aktion vorstellen können, denken Sie an ein altes analoges Fernsehgerät (inklusive Antenne). Der Fernsehsender wäre in diesem IoT-Beispiel das sendende Gerät. Die Antenne ist hingegen der Sensor, der die ausgesandten Daten empfängt und in ein Bild „übersetzt“.

Was ist Big Data?

In unserem obigen Beispiel wäre Big Data das Fernsehsignal in den Funkwellen. Stellen Sie sich vor, Sie hätten ein vollständiges Verzeichnis sämtlicher Pixel, die auf dem Gerät ankommen. Sie könnten genau nachverfolgen, was jeder im Haushalt zu einem bestimmten Zeitpunkt gesehen hat.

Sie könnten messen, welche Programme beliebter sind als andere.

Eine einfache Definition von Big Data beschreibt „die großen, vielfältigen Informationsmengen, die immer schneller wachsen“. In der heutigen informations- und datenlastigen Welt – mit all ihren Dashboards und Leistungsberichten – ist es nicht schwer, sich Big Data auf einer konzeptionellen Ebene vorzustellen.

Tatsächlich ist es vielleicht schwieriger sich vorzustellen, Geschäfte ohne Big Data zu machen.

Bei Big Data geht es in erster Linie um drei Dinge – Volumen, Geschwindigkeit und Vielfalt. Dies deutet auf einige der Probleme hin, die bei der Datenverarbeitung für das IoT auftreten.

Wir sind vielleicht alle daran gewöhnt, Big Data zu analysieren und zu nutzen, aber wir sind oft nicht für die Verarbeitung von IoT-Daten gerüstet. Wie geht man mit einem kontinuierlichen Datenstrom aus vielen verschiedenen Quellen in unterschiedlichen Formaten um?

Diese Fragen sind der Kern von Big Data für das IoT.

Fügen wir nun alles zusammen und untersuchen, wie Big Data für das IoT konkret funktioniert. Zunächst müssen Sensoren installiert werden.

Anschließend müssen Sie entscheiden, von welchen Geräten Sie Daten sammeln wollen.

Sobald die Sender und Empfänger festgelegt sind, können Sie grundsätzlich mit Big Data und IoT loslegen. Doch es steckt noch viel mehr dahinter.

Zunächst einmal kann das Internet of Things eine große Datenmenge erzeugen. Man spricht nicht umsonst von Big Data. Obwohl sämtliche Daten erfasst werden, muss entschieden werden, welche Arten von Daten genauer betrachtet werden sollen und wonach im Idealfall gesucht werden soll, um Big Data sinnvoll nutzen zu können.

Die Alternative wäre so, als würde man versuchen, einen Schluck aus einem Löschschlauch zu nehmen, wenn man leicht durstig ist.

Zur Verfeinerung dieses Prozesses empfehlen wir, sich vor Beginn der IoT-Datenverarbeitung Gedanken über die Ziele zu machen, die damit erreicht werden sollen. Dies erleichtert die Einschränkung der Daten, die untersucht werden sollen, und die Suche nach den richtigen Daten.

Beispiele von Big Data für das IoT

Angenommen, Sie betreiben eine Produktionsanlage und möchten Ihre Produktivität optimieren. Selbstverständlich werden Sie die Produktionsmengen überwachen. Sie werden auch die Ausfälle überwachen wollen.

Interessant wird es jedoch, wenn Sie sich die Gründe für unerwartete Ausfälle ansehen. Big Data könnte beispielsweise steigende Temperaturen aufzeigen. Dies könnte dazu beitragen, Ausfälle zu verhindern, indem Sie eine Maschine zur Wartung anhalten, wenn Sie einen Temperaturanstieg feststellen.

Doch die Ursachen sind leider nicht immer so offensichtlich. So könnte sich beispielsweise Schmutz auf den Walzen ansammeln. In diesem Fall müssten Sie Lösungsansätze finden, wie Sie dies messen und überwachen können. Hier beginnt die Wissenschaft von Big Data zu einer Kunstform zu werden.

Denken Sie daran, dass Big Data für das IoT mit einer großen Datenmenge verbunden ist. Dazu braucht es eine Speicherlösung, sei dies nun lokal oder in einer Cloud. Cloud-basierte Speicherlösungen sind heute weit verbreitet, da viele Echtzeit-Analyseprogramme auf vernetzte Daten angewiesen sind.

Cloud-basierte Speicherlösungen ermöglichen zudem eine einfache Weiterleitung von Dateien und Zusammenarbeit im gesamten Unternehmen.

Dafür muss allerdings eine ausreichende Verbindung gewährleistet sein. Andernfalls kann es zu Ausfällen kommen, die je nach der Art der Datenverwendung katastrophale Folgen haben können.

Big Data und das IoT sind beides sehr große Wirtschaftsbereiche. Entsprechend gibt es eine sehr breite Palette an leistungsstarken Tools. Diese reichen von speziellen Softwarelösungen bis hin zu einfachen Befehlszeilen-Tools.

Hier sind einige der gängigsten Big-Data-Tools für das IoT:

Apache Kafka

Produkte der Marke Apache sind in der Big-Data-Community bekannt und beliebt, und Apache Kafka bildet hier keine Ausnahme. Apache Kafka ist eine spezielle Softwarebibliothek und eine Open-Source-Plattform für verteiltes Event-Streaming, die für die Verarbeitung großer Datenmengen konzipiert wurde.

Mit seinem verteilten Aufbau und dem Publish/Subscribe-Muster ist Kafka ideal geeignet, um Echtzeitdaten von vielen IoT-Geräten zu empfangen und sie an andere Anwendungen weiterzuleiten oder dauerhaft zu speichern, auch in großem Maßstab.

Aufgrund der Open Source-Technologie von Kafka, die insbesondere für die Aufnahme und Verarbeitung von IoT-Daten weit verbreitet ist, bietet es von Haus aus Unternehmensfunktionen wie Skalierbarkeit, permanente Speicherung von Ereignissen und hohe Verfügbarkeit.

Angesichts der Tatsache, dass Kafka in der Big-Data-Community sehr beliebt ist, stehen auch zahlreiche hochwertige Tools für Kafka zur Verfügung. Es lässt sich beispielsweise sehr leicht mit MQTT, dem Standardprotokoll für die Übertragung von IoT-Daten, integrieren. Eine häufig genutzte Cloud-basierte Alternative ist Azure IoT Hub, das ähnliche Funktionen bietet und vollständig von Azure verwaltet wird.

Apache Spark

Apache Spark ist ein weiterer Grund, warum Produkte der Marke Apache in der Big-Data-Branche so beliebt sind. Wie Kafka ist auch Apache Spark auf die Arbeit mit großen Datenmengen ausgelegt. Während Kafka für die Erfassung und Zusammenführung von Daten aus vielen Quellen, z.B. IoT-Geräten, an einer zentralen Stelle verwendet wird, konzentriert sich Spark auf die effiziente Verarbeitung von Big Data.

Es führt Verarbeitungsaufgaben, wie z.B. die Erfassung und Zusammenführung von Daten oder die Erstellung von Machine-Learning-Modellen aus IoT-Daten, über mehrere Geräte hinweg durch. Dies macht es optimal für die heutige containerisierte Welt des verteilten Computings. Das bedeutet auch, dass von überall aus auf diese Analysetools zugegriffen werden kann. Es benötigt nur eine stabile Verbindung.

Apache ist auch für dezentrales Computing konzipiert. Es lohnt sich, Apache Spark allein schon wegen seiner leistungsstarken API genauer unter die Lupe zu nehmen.

Timescale DB und Blob Storage

Bei der Arbeit mit Big Data müssen die erfassten Daten schließlich irgendwo gespeichert werden. TimescaleDB ist dabei besonders gut für die Arbeit mit IoT-Daten geeignet. Es basiert auf PostgreSQL, einem der leistungsfähigsten relationalen Datenbanksysteme, und wurde speziell für die Speicherung von Zeitreihendaten, wie z.B. IoT-Daten, für analytische Zwecke entwickelt.

Es bietet vollständige SQL-Unterstützung, kann auf eine Speicherung von Petabytes an Daten skaliert werden und ist als Open-Source für den eigenen als auch für verwaltete Cloud-Services verfügbar.

Insbesondere für die Stapelverarbeitung von IoT-Daten ist die Speicherung der Daten in einem Blob-Speicher eine gute Alternative – oder Ergänzung – zu TimescaleDB. Die Speicherung von Daten in einem Blob-Speicher ist kostengünstig, einfach zu verwalten und leistungsfähig, insbesondere bei der Verwendung von Datenformaten, die für analytische Anwendungen wie Apache Parquet entwickelt wurden.

Nicht jeder ist ein Datentechniker oder Programmierer. Datenintensive Systeme wie Big Data und das Internet of Things müssen richtig aufgebaut werden, um den bestmöglichen Nutzen für Sie und Ihr Unternehmen zu erzielen.

Wenn Sie herausfinden möchten, wie Sie mit Big Data das Beste aus Ihren IoT-Anwendungen herausholen können, nehmen Sie noch heute Kontakt mit uns auf und informieren Sie sich über unsere zahlreichen datenzentrierten Produkte und Services.