Speicherplatzoptimierung der Index-Datenbank des NetEye Log Management
Wie Sie bereits wissen, wurde in das NetEye Log Management ab der Version 3.6 der Elastic Stack (bestehend aus Elasticsearch, Logstash und Kibana) integriert.
Diese Integration bringt eine Reihe zusätzlicher Möglichkeiten in den Bereichen Log Analyse, Log Korrelation, Dashboard Erstellung etc. mit sich.
Außerdem besteht nun die Möglichkeit die gesammelten Logs, je nach Art, für unterschiedliche Zeitspannen zu speichern.
Betrachten wir hierzu dieses Beispiel:
Ihr NetEye Log Management erhält alle Logs, welche innerhalb Ihres Unternehmens gesammelt werden (Windows Eventlogs, Linux Syslogs, Firewall Acess Logs, VPN Logs usw.). Mit seinen Filtern indexiert Logstash die gesamten Daten und schreibt diese in die Elasticsearch Index Datenbank des NetEye Log Management Moduls.
Nehmen wir an, Sie sammeln Logs von 95 Systemen und alle zusammen generieren durchschnittlich 1000 Events pro Sekunde mit Spitzen bis zu 3000 Events pro Sekunde. Diese Systeme würden pro Tag mindestens 90 GB Indexdaten auf Ihre Platten schreiben. Ich denke, ich muss nicht weiter ausführen wie wichtig es ist den Plattenplatz immer mal wieder frei zu machen. =)
Um also den Plattenplatz zu optimieren, ohne zusätzliche Ressourcen zukaufen zu müssen, sollten Sie die Logs die nicht mehr benötigt werden löschen. Jene Logs welche benötigt werden um den Vorschriften der Datenschutzbehörde („Garante della Privacy“) gerecht zu werden, werden mit einem speziellen Tag versehen. So können Sie ganz einfach nach diesen „Datenschutz-Logs“ filtern. Dank dieser Filter, können Sie die Datenschutz-Logs nach 6 Monaten automatisch löschen. Alle anderen Logs können natürlich bereits früher entfernt werden.
Durch diese Vorgehensweise profitieren Sie von zwei Vorteilen:
- Erstens, können Sie die Vorgaben der Datenschutzbehörde einhalten
- Zweitens, können Sie eine zentrale Software (NetEye Log Management) nutzen um alle Arten von Logs zu sammeln und zu analysieren.
Es gibt also keinen Grund mehr, das NetEye Log Management nicht zu nutzen. =)
Tobias Goller
Author
