29. 04. 2016 TobiasGoller NetEye

Speicherplatzoptimierung der Index-Datenbank des NetEye Log Management

Disk Space 1

Wie Sie bereits wissen, wurde in das NetEye Log Management ab der Version 3.6 der Elastic Stack (bestehend aus Elasticsearch, Logstash und Kibana) integriert.

Diese Integration bringt eine Reihe zusätzlicher Möglichkeiten in den Bereichen Log Analyse, Log Korrelation, Dashboard Erstellung etc. mit sich.

Außerdem besteht nun die Möglichkeit die gesammelten Logs, je nach Art, für unterschiedliche Zeitspannen zu speichern.

Betrachten wir hierzu dieses Beispiel:

Ihr NetEye Log Management erhält alle Logs, welche innerhalb Ihres Unternehmens gesammelt werden (Windows Eventlogs, Linux Syslogs, Firewall Acess Logs, VPN Logs usw.). Mit seinen Filtern indexiert Logstash die gesamten Daten und schreibt diese in die Elasticsearch Index Datenbank des NetEye Log Management Moduls.

Nehmen wir an, Sie sammeln Logs von 95 Systemen und alle zusammen generieren durchschnittlich 1000 Events pro Sekunde mit Spitzen bis zu 3000 Events pro Sekunde. Diese Systeme würden pro Tag mindestens 90 GB Indexdaten auf Ihre Platten schreiben. Ich denke, ich muss nicht weiter ausführen wie wichtig es ist den Plattenplatz immer mal wieder frei zu machen. =)

Um also den Plattenplatz zu optimieren, ohne zusätzliche Ressourcen zukaufen zu müssen, sollten Sie die Logs die nicht mehr benötigt werden löschen. Jene Logs welche benötigt werden um den Vorschriften der Datenschutzbehörde („Garante della Privacy“) gerecht zu werden, werden mit einem speziellen Tag versehen. So können Sie ganz einfach nach diesen „Datenschutz-Logs“ filtern. Dank dieser Filter, können Sie die Datenschutz-Logs nach 6 Monaten automatisch löschen. Alle anderen Logs können natürlich bereits früher entfernt werden.

Durch diese Vorgehensweise profitieren Sie von zwei Vorteilen:

  • Erstens, können Sie die Vorgaben der Datenschutzbehörde einhalten
  • Zweitens, können Sie eine zentrale Software (NetEye Log Management) nutzen um alle Arten von Logs zu sammeln und zu analysieren.

Es gibt also keinen Grund mehr, das NetEye Log Management nicht zu nutzen. =)

TobiasGoller

TobiasGoller

NetEye Solution Architect at Würth Phoenix
I started my professional career as a system administrator. Over the years, my area of responsibility changed from administrative work to the architectural planning of systems. During my activities at Würth Phoenix, the focus of my area of responsibility changed to the installation and consulting of the IT system management solution WÜRTHPHOENIX NetEye. In the meantime, I take care of the implementation and planning of customer projects in the area of our unified monitoring solution.

Author

TobiasGoller

I started my professional career as a system administrator. Over the years, my area of responsibility changed from administrative work to the architectural planning of systems. During my activities at Würth Phoenix, the focus of my area of responsibility changed to the installation and consulting of the IT system management solution WÜRTHPHOENIX NetEye. In the meantime, I take care of the implementation and planning of customer projects in the area of our unified monitoring solution.

Leave a Reply

Your email address will not be published.

Archive