Next Level Performance Monitoring: il ruolo di machine learning e anomaly detection [Seconda parte]

Posted by on ago 2, 2017 in NetEye, Real User Experience Monitoring | 0 comments

Machine learning e anomaly detection sono procedimenti utilizzati sempre con più frequenza nell’area del performance monitoring. Ma di cosa si occupano realmente e perché l’interesse in quest’area sta aumentando così rapidamente?

Dalla statistica al machine learning

Sono stati fatti diversi tentativi per definire le principali differenze tra machine learning e statistica, ma non è sempre così netta la distinzione, infatti ci sono pareri contrastanti anche tra gli esperti:

  • “Non ci sono differenze tra machine learning e statistica” (in termini di matematica, libri, metodi di apprendimento, ecc.)
  • “Il Machine Learning è completamente diverso dalla statistica.” (e solo il primo resisterà in futuro)
  • “La statistica è l’unico vero e il solo approccio” (Il Machine Learning è un termine diverso per definire una parte della statistica da parte di persone che non capiscono il reale concetto matematico)

I lettori interessati possono fare riferimento a:
Breiman – Statistical Modeling: The Two Cultures e Statistics vs. Machine Learning, fight!

Non riusciremo ad argomentare brevemente in questo post la risposta al quesito, ma possiamo affermare che, nell’ambito del monitoraggio informatico, il machine learning e la statistica si focalizzano al momento su diversi fronti ed è quindi essenziale utilizzarli entrambi. La statistica si occupa dello studio delle inferenze (ha come obbiettivo di inferire le proprietà del processo che ha generato i dati) mentre il machine learning si focalizza sulla predizione (cerca di predire come saranno i dati nel futuro). Ovviamente i due procedimenti non sono del tutto indipendenti. L’impiego di entrambi gli approcci può creare algoritmi sempre migliori di previsione o di anomaly detection.

Read More

Next Level Performance Monitoring – Part I

Posted by on giu 20, 2017 in NetEye, Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Oggigiorno il traffico di rete sta diventando sempre più eterogeneo. In tanti casi non è sufficiente monitorare un sistema con gli stessi metodi utilizzati in passato. Presenterò di seguito quelli che, secondo Würth Phoenix, sono i punti chiave per un monitoraggio all’avanguardia e un’analisi proattiva delle applicazioni critiche per il vostro business.

Combinazione User Experience a Metriche delle Performance per nuove conclusioni

Ritengo importante trattare per primo il tema della combinazione della User Experience e delle metriche in quanto considero la User Experience un fattore determinante nell’utilizzo di un sistema. Infatti se un utente lamenta cattive prestazioni del sistema, si ritiene necessario migliorarle anche nel caso in cui le metriche riportino buoni valori.
Si considera di importanza vitale sapere quando gli applicativi rallentano, se possibile prima che gli utenti lamentino un disservizio. Si può raggiungere questo obiettivo grazie all’aiuto di Alyvix, la nostra soluzione di user experience monitoring attivo, che permette di effettuare frequenti check. Con Alyvix è possibile scrivere dei test-case su misura, che controllano le parti più importanti, le funzionalità e le performance (in termini di durata) degli applicativi.
Il risultato dell’analisi delle performance di ogni singolo test viene salvato su un database centralizzato, lo stesso nel quale vengono memorizzate anche tutte le altre (per esempio dati perfmon, esxtop, e altri). Grazie al multiserver zoom è possibile visualizzare e analizzare nel dettaglio i dati registrati negli intervalli temporali in cui Alyvix ha registrato dei problemi.

Screenshot from 2017-05-29 10:42:58

Read More

Linee guida per l’ottimizzazione delle dashboard di Grafana

Posted by on feb 17, 2017 in NetEye | 0 comments

Grafana Tuning

Recentemente Grafana e InfluxDB sono stati integrati nella nostra soluzione di IT System Management NetEye. Questa decisione è motivata dai elevati livelli di flessibilità e varietà offerte dalla combinazione di questi due strumenti open source. Oltre a Log Management, Inventory & Asset Management, Business Service Management e altri, ora NetEye offre anche un modulo IT Operations Analytics. In questo articolo vorremmo condividere con voi alcuni trucchi con cui diventa ancora più facile percepire la vera potenza di Grafana quando si sperimenta con le nuove dashboard in NetEye.

Read More

Come generare allarmi intelligenti attraverso l’anomaly detection

Posted by on nov 11, 2016 in Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Allarmistica e monitoraggio vanno di pari passo. Ogni qualvolta viene utilizzato un algoritmo o una soglia per decidere se il valore attuale di un KPI registrato debba generare o meno un allarme, ci si può trovare di fronte a casistiche diverse: un problema correttamente rilevato, un’assenza di problema correttamente rilevata, un problema non rilevato o un falso allarme.

threshold

Fig. 1

Solitamente la modalità utilizzata per generare allarmi consiste nello studiare il traffico standard – che non dovrebbe generare allarmi – e decidere delle soglie statiche in base ai dati storici e all’esperienza acquisita (come mostrato dall’esempio nella Figura 1). Ogni valore al di sotto della soglia viene considerato traffico standard mentre tutti i valori al di sopra genereranno degli allarmi. Questa modalità di creazione di allarmi in base a delle soglie definite è robusto per molti valori anomali e potrebbe essere sufficiente se la media del traffico standard non subisce delle variazioni dinamiche (in quel caso anche le soglie devono essere adattate dinamicamente). Gli allarmi potrebbero contenere anche anomalie, che sono utili per identificare problematiche e che sono totalmente diverse dai classici valori anomali. Per esempio, un cambiamento nella distribuzione (come mostrato dall’area rossa a destra nella Figura 2) può rappresentare un primo segno di instabilità e in questo caso adottare immediatamente una contromisura può prevenire che l’anomalia si trasformi in un problema reale.

median

Fig. 2

Per questo motivo lo studio di meccanismi di allarmi alternativi e più sofisticati offre un valore aggiunto alla pratica comune.

Read More

Congratulazioni ai vincitori della NetCla Challenge

Posted by on ott 5, 2016 in NetEye, Network Traffic Monitoring, Real User Experience Monitoring | 0 comments

Al concorso hanno partecipato 100 team, di cui 25 si sono dimostrati all’altezza della situazione e la migliore squadra ha raggiunto il punteggio Macro-F1 di 0.88

Venerdì scorso, dopo 6 lunghe settimane, è stato finalmente proclamato il vincitore del concorso durante la conferenza ECML-PKDD a Riva del Garda: dopo un’attenta analisi e discussione dei migliori approcci proposti dai Team, i partecipanti hanno avuto la possibilità di avere risposte alle loro domande direttamente dagli organizzatori ed è stato proclamato vincitore il team capitanato da Iryna Haponchyk. Ai vincitori un premio di 1000 Euro per aver creato la soluzione migliore che ha raggiunto il punteggio Macro-F1 più alto. Sotto, la foto con il team vincente durante la cerimonia di premiazione.

 

 

winners

Iryna ha spiegato che la sua squadra ha addestrato un classificatore standard multi-class linear SVM, arricchendo il set di feature esistenti con feature generate da un random forest e funzioni che codificano le nozioni di interdipendenza tra esempi vicini nel tempo.

Read More