Big Data

aus SecuPedia, der Plattform für Sicherheits-Informationen

Anzeige
Wechseln zu: Navigation, Suche

‏‎ Reduziert man sämtliche Big Data-Definitionen auf einen gemeinsamen Nenner, so versteht man unter Big Data die besonders flexible Analyse von unstrukturierten oder teilstrukturierten Massendaten, wie sie z. B. in Logfiles oder großen Batchfiles auftreten. Internet-Anwender sind z. B. beim „Googlen“ gewohnt, dass schon ohne vollständige Suchbegriffe, ausgehend von den zuerst eingegebenen Buchstaben, sofort passende Daten selektiert und angezeigt werden.

Eine weitere Stärke von Big Data liegt in dem komfortablen Handling von besonders großen Datenmengen, die mit dem, was heute als Standard-Datenbank verstanden wird, nicht mehr flexibel analysiert werden können. Die Rede ist von Exa- und Zettabytes-Datenmengen, die jedes relational angelegte Datenbanksystem an die Grenzen bringen.

Neues Konzept

Architektur auf Basis der Big Data Analytics Lösung splunk (Quelle: Consist Software Solutions GmbH)

Die uneinheitliche Struktur der Daten verlangt in Kombination mit sehr großen Datenmengen nach neuen Verarbeitungskonzepten. Ausgelöst von den enormen Datenmengen, die heutige Suchmaschinen wie Yahoo, Google und dergleichen tagtäglich zu verarbeiten haben, ist unter dem Namen Big Data ein neues Datenanalysekonzept entstanden. Wurden die Daten bisher zentralistisch in einem relationalen Datenbankmanagementsystem anwendungsspezifisch indiziert, verwendet Big Data ein anderes, umfassendes und vollautomatisiertes Indizierungsverfahren auf Filesystemebene. Die Indizierung ist skalierbar und kann je nach Datenvolumen auf verschiedene Server verteilt werden. Kombiniert mit moderner in-memory-Technologie wird somit eine bislang unerreichte Flexibilität und Performance in der Datenanalyse möglich – quasi in Echtzeit.


Arbeitsweise der neuen Technologie

Werden Daten in klassischen DBMS oder BI-Cubes geladen, so werden diese in der Regel entsprechend eines normierten Datenmodells reduziert. Die Datenbank nimmt nur die Daten auf, die in ihre normierte Struktur passen. Die im Bereich Big Data eingesetzten Technologien arbeiten anders. Die anfallenden Daten verbleiben unverändert im Raw-Format ohne Extraktions- und Transformationsprozesse. Der maximale Informationsgehalt der Daten bleibt somit erhalten. Damit ist es möglich, die Gesamtdaten jederzeit auf neue, a priori möglicherweise unbekannte Fragestellungen hin zu untersuchen.


Neue Anwendungsfelder

Mit der neuen Big Data-Technologie lassen sich neue Anwendungsfelder erschließen. Ein wichtiges Thema für Big Data ist die Analyse von großen Flatfiles im Bereich des Netzwerk-Monitorings wie z. B. Logfiles, Firewall-Protokollen oder Web Requests. Für explorative Fragestellungen, die typischerweise bei der Fehleranalyse oder im Compliance-Umfeld auftreten, hat sich Big Data bereits hervorragend bewährt. Durch die umfassende Datenauswertung in Echtzeit können Ausfallzeiten erheblich reduziert werden und somit zu einer höheren Gesamtverfügbarkeit beitragen. In der Softwareentwicklung wird Big Data-Technologie mit großem Erfolg im Testbereich genutzt. Auch in diesem Umfeld treten typischerweise zuvor nicht planbare Fragestellungen bei der Analyse von großen Datenmengen auf. Big Data ermöglicht eine erhebliche Zeitersparnis in der Fehlerdiagnose und senkt signifikant die Testkosten. Auch der Bereich Business Intelligence kann und wird seine Vorteile aus dem Big Data-Bereich ziehen. Big Data eröffnet die Chance, auch außerhalb des starren BI-Cube-Modells explorativ auf den Gesamtdaten zu arbeiten.


Zukunft

Big Data ist eine junge Technologie, die bereits einen festen Platz in modernen IT-Strategien erobert hat. Sie ermöglicht erstmalig eine umfassende und besonders flexible Datenanalyse auf Datenmengen beliebiger Größe und ergänzt damit die bewährten Analysemöglichkeiten der traditionellen Datenbankmanagementsysteme.

Ein zukünftige große Rolle wird Big Data beim Aufbau neuronaler Netze spielen, da das "Training" dieser KI-Variante große Datenmengen voraussetzt, aus denen das System lernen kann.


Marktvolumen

Laut einer Marktprognose des IT-Marktforschungs- und Beratungsunternehmens Crisp Research im Auftrag des Bitkom[1] wächst der Big-Data-Markt bis 2016 um jährlich durchschnittlich 46 Prozent. Er soll sich innerhalb von fünf Jahren von 23,6 Milliarden Euro (2011) auf 160,6 Milliarden Euro (2016) nahezu verachtfachen. Angetrieben wird der Markt durch die verstärkte Internetnutzung mit Smartphones und Tablets, soziale Netzwerke sowie die Vernetzung von Geräten, Fahrzeugen und Maschinen.

Laut Bitkom lassen sich drei Teilsegmente von Big Data unterscheiden. Der mit Abstand größte Teilmarkt umfasst so genannte „Datenbasierte Produkte und Analytics-Services“. Er wird den Prognosen zufolge im Jahr 2014 um 64 Prozent auf weltweit 63,4 Milliarden Euro zulegen. Darin enthalten sind viele Anwendungsfelder, die erst durch Big Data ermöglicht werden. Dazu zählen beispielsweise sensorgesteuerte Informationssysteme für den Verkehr, intelligente Gebäudesteuerungen, Optimierungssysteme im Handel oder Endkundendienste in den Bereichen Lifestyle, Fitness und Gesundheit. Das Segment „Big Data IT“ umfasst IT-Hardware, Software und IT-Services, die für die Nutzung von Big-Data-Lösungen benötigt werden. Dieser Bereich steigt im laufenden Jahr um 69 Prozent auf 2,6 Milliarden Euro Umsatz. Ein weiteres Segment ist der Bereich „Sensoren und Netzwerke“, die vor allem für die Verbindung von Geräten, Maschinen, Fahrzeugen oder anderen Gegenständen mit dem Internet benötigt werden. In diesem Segment werden Unternehmen rund 7,6 Milliarden Euro umsetzen, ein Wachstum von 72 Prozent. In Deutschland wird der Markt für die Analyse großer Datenmengen im Jahr 2014 um 59 Prozent auf 6,1 Milliarden Euro zulegen. Bis zum Jahr 2016 soll sich der Umsatz mit Big Data-Lösungen auf 13,6 Milliarden Euro nochmals verdoppeln.


Informationsmöglichkeiten

Der Bitkom-Leitfaden „Big Data und Geschäftsmodell-Innovationen in der Praxis“ kann kostenlos heruntergeladen werden: http://www.bitkom.org/de/publikationen/38337_81424.aspx[2].


Einzelnachweis

  1. SecuPedia Aktuell: Weltmarkt für Big Data wächst rasant
  2. SecuPedia Aktuell: So geht Big Data in der Praxis


Siehe auch



Diese Seite wurde zuletzt am 18. Mai 2017 um 11:25 Uhr von Oliver Wege geändert. Basierend auf der Arbeit von Peter Hohl und Pierre Lukas.

Anzeigen