Logstash: filtraggio delle date

Posted by on nov 25, 2016 in Garante della Privacy, NetEye | 0 comments

date

Qualche tempo fa pubblicai un articolo sull’utilizzo del NetEye Log Management per la visualizzazione delle notifiche SMS. Ora, in base all’esperienza acquisita, ho scoperto che ciò che scrissi non era totalmente corretto. Infatti le funzioni di time/date per i filtri Logstash sono leggermente più complicate di ciò che possono sembrare inizialmente. In particolare, la data era scritta nel protocollo SMS nel seguente modo:

June 29th 2016, 10:30:22 CEST 2016

E avevamo utilizzato questo filtro per convertirla:

date {
          locale = "en"
          match  = [ "sms_timestamp_text", "EEE MMM dd HH:mm:ss" ]
      }

Col passare del tempo (alcuni giorni dopo l’inizio del mese successivo) abbiamo scoperto però che la data nei primi giorni del mese veniva visualizzata nel seguente modo:

July  1th 2016, 10:30:22 CEST 2016

Poiché utilizziamo un timezone testuale, abbiamo infatti constatato che i filtri applicati sulla data non lo supportano. Nel primo draft abbiamo utilizzato questa regola per riuscire ad eseguire il parse dell’sms_timestamp_text:

Read More

Research & Development – Insights (Parte 1)

Posted by on nov 23, 2016 in Development, EriZone & OTRS, NetEye | 0 comments

Research and Development Insights

Il team di ricerca e sviluppo (R&D) è il team più grande all’interno della Business Unit System Integration (SI) di Wuerth Phoenix. Siamo responsabili dello sviluppo, manutenzione e della alta qualità di software per i nostri clienti. Inoltre, cooperiamo con il team di Service&Support per supporti di secondo livello.

Dalla sua istituzione, il dipartimento SI è stato uno dei dipartimenti con un grado di crescita maggiore tra tutte le Business Unit di Wuerth Phoenix. Questa rapida crescita ha influenzato anche il nostro team e ci ha forzato a fronteggiare molteplici sfide in diversi campi, tra le quali: distribuzione del carico di lavoro, stabilire le priorità tra i vari task, uso efficiente del tempo, trasferimento del know-how e un costante aumento di collaboratori.

Per mantenere bassa la delivery time e, allo stesso tempo, mantenere alta la qualità del prodotto e la motivazione dei collaboratori, abbiamo dovuto prendere una decisione è da qui che è nata l’idea dell’Agile Transformation.

Read More

Stai perdendo molte ore nello svolgimento di operazioni ripetitive?

Posted by on nov 21, 2016 in NetEye, Real User Experience Monitoring | 0 comments

Trasferisci l’esecuzione di questi semplici compiti ad Alyvix. In questo modo, potrai risparmiare tempo prezioso da poter reinvestire in attività più importanti.

Automation of repeating tasks with Alyvix

Alyvix è stato progettato per simulare le azioni e gli input di un utente reale, per controllare se un’applicazione funziona correttamente e per registrare i valori prestazionali accostandoli a quelli passati. Attraverso questo confronto è possibile individuare degradi nelle applicazioni dal punto di vista prestazionale (per esempio come potrebbe accadere dopo aver eseguito un aggiornamento).

Dal momento che tali simulazioni funzionano davvero bene per testare le varie applicazioni, ho pensato di non limitare l’utilizzo di Alyvix solo a questo scopo ma di impiegare il sistema anche per l’esecuzione di attività ripetitive, che dovrebbero altrimenti essere svolte manualmente dagli utenti reali. Capite cosa intendo? Cercherò di chiarire meglio questo concetto con un esempio pratico:

Read More

Preview EriZone 3.6: Gestione sequenziale delle activity

Posted by on nov 16, 2016 in EriZone & OTRS | 0 comments

Con EriZone 3.6, che sarà rilasciato a fine anno, verranno introdotte nuove funzionalità per l’Activity Management.

Gli activity ticket creati nel contesto dell’Access Management possono ora essere collegati tra loro per creare un ordine sequenziale.

Quando un’activity dell’Access Management viene creata è possibile definire un ordine sequenziale e definire le dipendenze con altre activity. Successivamente quando l’activity ticket vengono creati nell’Access Management, essi vengono automaticamente collegati tra loro come predefinito.

Read More

Come generare allarmi intelligenti attraverso l’anomaly detection

Posted by on nov 11, 2016 in Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Allarmistica e monitoraggio vanno di pari passo. Ogni qualvolta viene utilizzato un algoritmo o una soglia per decidere se il valore attuale di un KPI registrato debba generare o meno un allarme, ci si può trovare di fronte a casistiche diverse: un problema correttamente rilevato, un’assenza di problema correttamente rilevata, un problema non rilevato o un falso allarme.

threshold

Fig. 1

Solitamente la modalità utilizzata per generare allarmi consiste nello studiare il traffico standard – che non dovrebbe generare allarmi – e decidere delle soglie statiche in base ai dati storici e all’esperienza acquisita (come mostrato dall’esempio nella Figura 1). Ogni valore al di sotto della soglia viene considerato traffico standard mentre tutti i valori al di sopra genereranno degli allarmi. Questa modalità di creazione di allarmi in base a delle soglie definite è robusto per molti valori anomali e potrebbe essere sufficiente se la media del traffico standard non subisce delle variazioni dinamiche (in quel caso anche le soglie devono essere adattate dinamicamente). Gli allarmi potrebbero contenere anche anomalie, che sono utili per identificare problematiche e che sono totalmente diverse dai classici valori anomali. Per esempio, un cambiamento nella distribuzione (come mostrato dall’area rossa a destra nella Figura 2) può rappresentare un primo segno di instabilità e in questo caso adottare immediatamente una contromisura può prevenire che l’anomalia si trasformi in un problema reale.

median

Fig. 2

Per questo motivo lo studio di meccanismi di allarmi alternativi e più sofisticati offre un valore aggiunto alla pratica comune.

Read More

Nuova interfaccia SOAP per lo scambio di dati con NetEye

Posted by on nov 10, 2016 in NetEye | 0 comments

SOAP Interface

Per poter scambiare in modo intuitivo dati tra i vostri sistemi e NetEye, abbiamo introdotto un’interfaccia SOAP nelle API. In questo modo la comunicazione tra NetEye e le vostre applicazioni può avvenire semplicemente attraverso un’interfaccia web. SOAP utilizza messaggi basati su XML, i quali vengono spediti tramite HTTP.

Read More

Elevata sicurezza IT tramite la cattura del traffico di rete

Posted by on ott 26, 2016 in NetEye, Network Traffic Monitoring | 0 comments

IT-security_networktraffic_recording

“Nove su dieci aziende in Germania sono colpite da attacchi di hacker” [1]

Parole chiave come sicurezza IT e soprattutto sicurezza dei dati diventano sempre più importanti per le aziende. L’elevato livello di interconnessione e digitalizzazione rende le infrastrutture sempre più vulnerabili.

Per presentarvi alcune cifre: ogni giorno la rete della Deutsche Telekom subisce un milione di cyber attacchi [2], quella di Volkswagen a ca, 6.000 attacchi giornalieri [3]. Anche strutture sociali, come per esempio ospedali, non sono più sicure.[4]

Questa problematica colpisce tutti i settori: i dati vengono rubati al fine di lucro.

Per questo le aziende devono adottare misure di sicurezza rafforzate.

I sistemi IDS non sono più sufficienti

I sistemi IDS (intrusion detection system) sono in grado di rilevare potenziali anomalie in base a pattern di meccanismi di attacco già noti. L’IDS quindi copre una buona parte delle situazioni pericolose ma lascia comunque scoperta l’area delle vulnerabilità non conosciute e di quelle del social engineering [5].

Come possiamo colmare questa lacuna di sicurezza?

Se scopriamo che è avvenuta un’intrusione non rilevata dall’IDS cosa possiamo fare?
L’intrusione di per sé potrebbe non essere un problema, bisogna capire se abbiamo subito o meno un danno e soprattutto di quale entità. Senza ulteriori strumenti non siamo in grado di poter dare una risposta perché, se l’attacco è stato fatto da professionisti, non ne troveremo traccia nei sistemi.
L’unica traccia era nella rete.
Avendo la possibilità di guardare nei dati inviati/ricevuti dai sistemi sotto attacco possiamo esattamente sapere cosa è accaduto e poter valutare le contromisure.
Possiamo sapere se l’attacco ha provocato perdite di dati o operazioni malevole o magari scoprire che l’intrusore non è riuscito a carpire informazioni di valore.
È un bel vantaggio essere in grado di sapere se, a fronte di un intrusione, si deve allarmare l’intera azienda o confinare il problema al solo hardening dei sistemi coinvolti.

La soluzione: catturare il traffico di rete

FlightRecorder

Sempre più aziende attente alla sicurezza degli propri asset si dotano di apparati per la cattura del traffico di rete.
Questi apparati vengono installati in posizioni strategiche della rete e passivamente catturano tutto il traffico salvandolo in uno storage.

Le caratteristiche fondamentali di questi apparati sono:

  • velocità di cattura
  • capacità di retention dei dati

Devono essere apparati particolari per poter garantire la cattura a velocità elevate se si pensa alle reti 10Gbps full duplex.
Mentre la velocità di cattura non è fondamentale se si ha sulla rete da monitorare un rate basso, la capacità di retention è molto importante.
Se prendiamo una rete ad 1 Gbps full duplex e vogliamo la retention di 1 giorno, abbiamo bisogno di 21.60TB, se la rete è 10Gbps full duplex, lo spazio utilizzato sarà 216.0TB. Questi sono valori teorici nel caso la rete avesse un traffico line-rate costante ma comunque rendono l’idea di quanto sia critico il punto della retention.

Alcuni apparati eseguono una compressione dei dati, aumentando la capacità di retention ma il rate di compressione è molto influenzato dalla tipologia di traffico che si sta catturando. Se avessimo solo traffico SSL il rate è molto basso, circa il 2%.

La compressione aiuta ma non è la soluzione definitiva, bisogna che il recorder sappia quale traffico è utile per un’analisi e quale no.

Per esempio, è utile registrare tutti i pacchetti di uno stream video da 800MB? Probabilmente tutti no magari solo i primi 10 giusto per tener traccia di chi ha richiesto cosa, ma il resto dello stream non contiene ulteriori informazioni utili per un’eventuale analisi.

Analogamente il traffico VoIP.

Ed il traffico SSL è utile tracciarlo? Si sempre,  ma registriamo i pacchetti completi solo per il traffico di cui abbiamo la private key (che quindi possiamo decrittare), del resto salviamo solo gli header che possiamo usare per analizzare un eventuale tentativo di attacco.

Il recorder di Würth Phoenix

Il nostro recorder è in grado di riconoscere il traffico da scartare e selezionare le porzioni di pacchetti da salvare, tutto questo “on the fly” . Il traffico viene riconosciuto non basandosi semplicemente su informazioni statiche come le porte di connessione ma verificando dinamicamente ogni singolo pacchetto e categorizzandolo in base al suo contenuto.

Inoltre è possibile definire regole diverse per diversi segmenti di rete: per esempio la registrazione del traffico proveniente dalla rete di PC può seguire regole diverse rispetto a quelle della DMZ (demilitarized zone).

La differenza fra un network recorder standard da uno tecnologicamente avanzato è proprio la possibilità di massimizzare il tempo di retention senza per questo dover rinunciare ad informazioni utili.

Image_Recorder1

Frontend recorder

 

Image_Recorder2

Estrazione traffico attraverso filtri in formato pcap

 

Image_Recorder3

visualizzazione estrazioni, intergrazione per analisi con ntopng, wireshark e cloudshark

Fonti:

[1] https://www.telekom.com/media/company/293678

[2] https://www.euractiv.com/section/digital/news/one-million-cyber-attacks-a-day-on-deutsche-telekom-network/ 

[3] https://www.thelocal.de/20160906/german-government-attacked-by-hackers-20-times-a-day

[4] https://securelist.it/blog/ricerca/61103/hospitals-are-under-attack-in-2016/

[5] https://it.wikipedia.org/wiki/Ingegneria_sociale

Read More

NetEye & EriZone User Group 2016

Posted by on ott 25, 2016 in EriZone & OTRS, NetEye, Real User Experience Monitoring | 0 comments

The future is NOW: L’impatto strategico sull’IT Management nell’era di Big Data e Cloud

IMG_5341
Lo scorso giovedì 20 ottobre si è svolta a Trento presso le Cantine Ferrari l’ottava edizione del nostro NetEye e EriZone User Group. L’evento dedicato ai nostri clienti si è ormai confermato come un modello comprovato per fornire una piattaforma di discussione e per partecipare attivamente alla definizione della nuova fase evolutiva dei prodotti.

Read More

Congratulazioni ai vincitori della NetCla Challenge

Posted by on ott 5, 2016 in NetEye, Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Al concorso hanno partecipato 100 team, di cui 25 si sono dimostrati all’altezza della situazione e la migliore squadra ha raggiunto il punteggio Macro-F1 di 0.88

Venerdì scorso, dopo 6 lunghe settimane, è stato finalmente proclamato il vincitore del concorso durante la conferenza ECML-PKDD a Riva del Garda: dopo un’attenta analisi e discussione dei migliori approcci proposti dai Team, i partecipanti hanno avuto la possibilità di avere risposte alle loro domande direttamente dagli organizzatori ed è stato proclamato vincitore il team capitanato da Iryna Haponchyk. Ai vincitori un premio di 1000 Euro per aver creato la soluzione migliore che ha raggiunto il punteggio Macro-F1 più alto. Sotto, la foto con il team vincente durante la cerimonia di premiazione.

 

 

winners

Iryna ha spiegato che la sua squadra ha addestrato un classificatore standard multi-class linear SVM, arricchendo il set di feature esistenti con feature generate da un random forest e funzioni che codificano le nozioni di interdipendenza tra esempi vicini nel tempo.

Read More

NetEye & EriZone UserGroup – 20 ottobre 2016

Posted by on ott 3, 2016 in EriZone & OTRS, NetEye, Real User Experience Monitoring | 0 comments

UserGroup_NetEye_EriZone_2016_blog

The future is now! 

L´impatto strategico sull´IT Management nell´era di Big Data e Cloud

Cantine Ferrari, Trento, Giovedì 20 ottobre 14:00 – 18:00 

Siamo lieti di invitarvi al prossimo  NetEye & EriZone UserGroup, l’evento unico per individuare le sfide emergenti nella gestione dei servizi IT e per partecipare attivamente alla definizione della nuova fase evolutiva delle nostre soluzioni. Assisterete alle presentazioni sulle novità di monitoraggio e Service Management nell’era di Cloud, IoT e Big Data e potrete scoprire come la gestione tradizionale dell’IT viene rivoluzionata dalle recenti innovazioni tecnologiche.

Non perdete l’opportunità di diventare parte attiva nella definizione della roadmap di EriZone e NetEye. Entrerete in contatto con responsabili IT appartenenti a note realtà italiane e potrete confrontarvi con il team di esperti di Würth Phoenix.

Read More

Perchè aumenta la mia latenza di rete durante i giorni lavorativi?

Posted by on set 22, 2016 in Capacity Management, NetEye, Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Può capitare di rilevare delle latenze di rete più alte durante alcuni periodi della giornata rispetto ad altri.

Network section of a datacenter (1 Gigabit Ethernet) with normal, constant latency throughout the day

Sezione rete di un datacenter (1 Gigabit Ethernet) con latenza normale e costante per tutta la giornata. Si prega di considerare che la latenza tipica per le connessioni 1 Gigabit Ethernet è minore di 5ms.

 

Network section of a datacenter (1 Gigabit Ethernet) with increased latency during working hours

Sezione rete di un datacenter (1 Gigabit Ethernet) con un aumento della latenza durante le ore lavorative. Si prega di considerare che la latenza tipica per le connessioni 1 Gigabit Ethernet è minore di 5 ms.

Read More

Customer TouchPoint il 27 settembre a Bolzano

Posted by on set 15, 2016 in EriZone & OTRS | 0 comments

CustomerTouchPoint_Header

Nuovi approcci e tecnologie per rendere più efficace il servizio alla clientela

Quali sono i veri driver di innovazione e cambiamento strategico in ambito di IT Service Management e Cloud Services? Il business break Customer TouchPoint vi offre un‘occasione unica per scoprire come aziende rinomate traggono un reale vantaggio in termini di organizzazione e qualità di servizio nella gestione delle richieste di assistenza clienti.

Read More