Microsoft Lumos sada je otvoreni izvor koji omogućuje praćenje mjernih podataka web aplikacija i brzo otkrivanje anomalija uklanjanjem lažnih pozitivnih rezultata

Vijesti
Microsoft / Microsoft Lumos sada je otvoreni izvor koji omogućuje praćenje mjernih podataka web aplikacija i brzo otkrivanje anomalija uklanjanjem lažnih pozitivnih rezultata 3 minute čitanja

Microsoft



najbolja mini itx matična ploča

Microsoft je otvorio pristup ‘Lumos’, moćnoj Python biblioteci za automatsko otkrivanje i dijagnosticiranje metričkih regresija u aplikacijama s „web-razmjerom“. Knjižnica je navodno bila vrlo aktivna u Microsoft Teamsima i Skypeu. U osnovi, vrlo moćan i inteligentan 'detektor anomalija' sada je otvorenog izvora i dostupan web programerima da uoče i adresiraju regresije u ključnim mjernim podacima izvedbe, dok gotovo eliminira većinu lažnih pozitivnih rezultata.

Microsoft Lumos sada je otvoreni izvor. Aktivno se koristio u odabranim Microsoftovim proizvodima i sada će biti dostupan za opću zajednicu za razvoj weba i aplikacija. Knjižnica je navodno omogućila inženjerima da otkriju stotine promjena u mjernim podacima i odbace tisuće lažnih alarma na površinu detektora anomalija.



Lumos smanjuje stopu lažno pozitivnih upozorenja za preko 90 posto, tvrdi Microsoft:

Lumos je nova metodologija koja uključuje postojeće detektore anomalija specifičnih za područje. Međutim, Microsoft osigurava da Python knjižnica može smanjiti stopu lažno pozitivnih upozorenja za više od 90 posto. Drugim riječima, programeri sada mogu s pouzdanjem krenuti u trajne probleme umjesto povremenih koji nisu imali dugoročni štetni učinak.



Zdravlje mrežnih usluga obično se prati praćenjem mjernih podataka ključnih pokazatelja izvedbe (KPI) tijekom vremena. Inženjeri koji provode 'Regresijsku analizu' zahtijevaju puno vremena i resursa za uklanjanje problema koji mogu ukazivati ​​na velike probleme. Ti problemi mogu rezultirati eskalacijom operativnih troškova, pa čak i gubitkom korisnika ako se na njih ne odgovori.



Nepotrebno je dodavati, traženje osnovnog uzroka svake KPI regresije oduzima puno vremena. Štoviše, timovi često troše puno vremena analizirajući probleme samo da bi utvrdili da su puka anomalija. Tu Microsoft Lumos dobro dolazi. Python biblioteka eliminira postupak utvrđivanja je li promjena posljedica promjene populacije ili ažuriranja proizvoda pružajući prioritetni popis najvažnijih varijabli u objašnjavanju promjena u metričkoj vrijednosti.



Microsoft Lumos također služi široj svrsi razumijevanja razlike u metrici između bilo koja dva skupa podataka. Zanimljivo je da platforma uključuje 'pristranost', a uspoređujući skup podataka o kontroli i obradi ostajući agnostičan prema komponenti vremenske serije, Lumos može istražiti anomalije.

Kako radi Microsoft Lumos?

Microsoft Lumos radi s načelima A / B testiranja kako bi usporedio parove skupova podataka. Biblioteka Python započinje provjerom je li regresija u metrici između skupova podataka statistički značajna. Zatim slijedi provjera pristranosti populacije i normalizacija pristranosti kako bi se uzele u obzir bilo kakve promjene populacije između dva skupa podataka. Lumos zaključuje da se pitanje ne isplati baviti ako u metrici ne postoji statistički značajna regresija. Međutim, ako je delta u metrici statistički značajna, Lumos obilježava značajke i rangira ih prema njihovom doprinosu delti u ciljnom metriku.

Knjižnica Lumos Python služi kao primarni alat za praćenje scenarija stotina mjernih podataka. Programeri i timovi koji provode analizu performansi mogli bi nadgledati i raditi na pouzdanosti poziva, sastanaka i usluga javne komutirane telefonske mreže (PSTN) u Microsoftu. Biblioteka radi na Azure Databricks-u, kompanijinoj usluzi analitike velikih podataka temeljenoj na Apache-spark-i. Konfigurirano je za pokretanje s više poslova koji su raspoređeni prema prioritetu, složenosti i vrsti mjernih podataka. Poslovi se dovršavaju asinkrono. To znači da ako sustav otkrije anomaliju, pokreće se Lumosov tijek rada, a knjižnica zatim inteligentno analizira i provjerava vrijedi li anomaliju tražiti i riješiti je.

Microsoft je primijetio da Lumos nije zajamčeno uhvatiti sve regresije u uslugama. Uz to, usluga će zahtijevati velik broj skupova podataka kako bi pružila pouzdane uvide. Tvrtka planira uključiti kontinuiranu analizu mjernih podataka, izvesti bolji poredak značajki i donijeti i grupiranje značajki. Ovi koraci trebali bi se baviti primarnim izazovom multikolinearnosti u rangiranju značajki.

Oznake Microsoft