06. 05. 2015 Andrea di Lernia Log Auditing, NetEye

Was tun mit den ganzen Logs?

Die italienische Datenschutzbehörde “Garante per la protezione dei dati personali” (auch bekannt als “Garante della Privacy”) schreibt die Erfassung und Archivierung von Millionen von Log Daten vor. Nicht nur deshalb ist eine wohlüberlegte Log Management Strategie für alle Unternehmen (auch außerhalb Italiens) wichtig.

Vor einigen Jahren hat die italienische Datenschutzbehörde ein Gesetzesdekret erlassen, welches vorschreibt, dass alle Unternehmen, alle Daten in Bezug auf Systemzugriffe seitens der Administratoren aufzeichnen und für mindestens 6 Monate archivieren müssen. Dieses Vorgehen soll die Überwachung der Aktivitäten der Systemadministratoren erleichtern und vereinheitlichen. (Hier finden Sie die offiziellen Inhalte auf italienischer und englischer Sprache). Alle italienischen Unternehmen sind also gesetzlich dazu verpflichtet ein geeignetes Log Management System einzusetzen, um die erforderlichen Logs zu erfassen und zu archivieren.

Log Management ist zwar kein brandneues Thema, tatsächlich bildet es jedoch den Ausgangspunkt für ein ganzheitliches IT Management. Der Schlüssel zu einem verlässlichen und nutzenbringenden Log Management ist zu aller erst die Eingrenzung aller zu erfassenden Aktivitäten. Natürlich darf auch das geeignete Tool, um die gewonnenen Daten zu analysieren nicht fehlen.

Warum ist die Verwaltung und Analyse der gespeicherten Logs so wichtig? Welche Vorteile bringt dies mit sich?

Es gibt verschiedene Einsatzbereiche.

Produktives Monitoring um die Effizienz der Systeme zu überwachen. Das Log Management kann so konfiguriert werden, dass es vom Normalbetrieb abweichende Vorkommnisse überwacht und gegebenenfalls einen Alarm generiert.

Troubleshooting: Eine schnelle Problemanalyse ist ausschlaggebend für die zuverlässige Lösung auftretender Probleme. Meist ist ein gezieltes Log Management der einfachste Weg um den Ursprung möglicher Störungen zu identifizieren. Stehen alle benötigten Daten, sowie ein geeignetes Analysetool zur Verfügung, ist es meist ein Leichtes die Root Cause auftretender Anomalien zu identifizieren. Das Log Management ermöglicht es gesammelte Daten zu vergleichen und den genauen Zeitpunkt der Störung zu identifizieren, dies ist ausschlaggebend für ein erfolgreiches Troubleshooting.

Debugging:  Applikationen, Compiler und Debugger generieren Logs wenn Abweichungen oder bestimmte Events einen Alarm auslösen. Dank der Vielzahl an Logs, ist das Log Management in der Lage diese Events zurückzuverfolgen. Auf Anwendungsebene wir dies vor Allem für die Identifikation möglicher Bottlenecks im Datenfluss verwendet.

Analyse auf Business-Level: Log Daten sind auch im Bereich der Business Analyse unverzichtbar. Spezifische Informationen können gezielt entnommen und verglichen werden. Beispielsweise können die meistbesuchten Bereiche einer Webseite mit spezifischen Daten zu einem einzelnen Produkt oder einer bestimmten Seite verglichen werden. Die Analyse der Ladezeiten einer Webseite und die Erfassung der Verweildauer der User, können zur Ermittlung der End User Experience verwendet werden. So können Sie gezielte Informationen zu Ihrem Geschäftsbereich erzielen.

Datensicherheit: Die Wahrung der Sicherheit sensibler Daten ist eine der Hauptaufgaben des Log Managements. Spezielle Aktivitäten, wie z. B. die einzelnen Logins, fehlgeschlagene Login-Versuche und Versuche der Manipulation bestehender Daten, können mit Hilfe eines Log Management Tools identifiziert und untersucht werden. Die Möglichkeit bestimmte Konditionen zu definieren, welche bei deren Eintritt einen Alarm auslösen (Bsp. wiederholt gescheiterte Login-Versuche oder die Erstellung eines neuen Accounts) bildet die Grundvoraussetzung für ein zuverlässiges Sicherheitssystem.

Es ist wohl selbstverständlich, dass die Verwaltung einer so großen Menge an Logs nicht unbedingt ein Kinderspiel ist, um so wichtiger ist es eine klare Monitoring Strategie zu definieren. Ein geeignetes Monitoring System kann Ihnen hierbei das Leben erheblich erleichtern. Log Management Tool ermöglichen die Analyse und Abbildung aller Logs in Echtzeit.

Das Log Management von NetEye, wurde mit dem letzten Release erheblich verbessert um Ihnen die strukturierte Analyse der Masse von archivierten Logs zu erleichtern. Zur Verbesserung des Moduls, wurden die Open Source Projekte Logstash, Elasticsearch und Kibana integriert.

Sammlung und Archivierung von Logs

Logstash parst Logs (welche vom Safed Agent and rsyslog übergeben werden, sehen Sie dazu die oben stehende Grafik) und übergibt sie an Elasticsearch, dort werden die Daten strukturiert gespeichert. Schlussendlich können alle gesammelten Daten dank der Integration von Kibana grafisch im NetEye Syslog View dargestellt werden. Kibana ist eine hoch skalierbare Oberfläche, welche eine gezielte Suche und detaillierte Abbidlung aller erfassten Logs ermöglicht.

Log Analyse und Indexing Architektur

Andrea di Lernia

Andrea di Lernia

Profit Center Manager at Würth Phoenix
Hi everybody, I’m Andrea and my contribution to this blog is to give hints of the monitoring issue from an IT manager point of view. I was born in Bolzano in 1965 and my professional path started 25 years ago operating on the technical field as programmer, system/database administrator, network engineer, consultancy and so on. I’ve been living in Milan for 10 years working for multinational IT companies and I decided to return to Bolzano after my marriage and the birth of my daughter. I love sailing and diving in the summer, skiing in the winter and travelling off-road with my Landcruiser anytime

Author

Andrea di Lernia

Hi everybody, I’m Andrea and my contribution to this blog is to give hints of the monitoring issue from an IT manager point of view. I was born in Bolzano in 1965 and my professional path started 25 years ago operating on the technical field as programmer, system/database administrator, network engineer, consultancy and so on. I’ve been living in Milan for 10 years working for multinational IT companies and I decided to return to Bolzano after my marriage and the birth of my daughter. I love sailing and diving in the summer, skiing in the winter and travelling off-road with my Landcruiser anytime

Leave a Reply

Your email address will not be published. Required fields are marked *

Archive