Azure Machine Learning Studio ile Machine Learning’e Giriş Bölüm 3 – Regression, Evaluate Model Yorumlamak ve ML Projemizi WebService olarak Publish ederek .Net Core Console Client tarafında Kullanmak
Selamlar,
Bir önceki yazımızda kaldığımız yerden devam ediyoruz. En son Machine Learning studio üzerinde bir proje oluşturmuş ve elimizdeki dayayı Regression problemi olarak çözmek için Azure ML Studio nun bize verdiği imkanları kullanarak incelemiştik.
ML Studio tarafındaki projenin son hali şu şekilde;
Elimizdeki datayı birtakım hazırlık aşamasından geçirdikten sonra, hem Lineer Regression hem de Bayesian Lineer Regression modelleri çıkaracak şekilde train etmiştik. En son bu iki train edilmiş model i ,test datamız ile test edip birer score model oluşturmuş, bunları birbiri ile kıyaslamak içinde bir Evaluate model eklemiştik.
Evaluate model in altundaki kutuya tıklayıp Visualize dediğimizde karşımıza aşağıdaki gibi bir ekran geliyor.
Bu Visualize ekranı, problemin tipine göre değişiklik gösterir. Bunları yorumlamak için biraz daha fazla ML detayına girmek gerek. Bu detaylara zaten farklı problem tipleri denerken gireceksiniz. Ama şuan bizim örneğimiz için söyleyebileceğim şey, en sonda ki Coefficient of Determination alanı bizim bu train ettiğimiz modelimizin test dataları ile test edilmesi sonucu ortaya çıkan başarı oranını veren kısım olduğu.
Üstteki 0.901461 yani %90 başarılı değer, Lineer Regression model e, altındaki %87 lik değer ise Bayesian Lineer Regression model e ait başarı sonuçları. Yani buna göre diyebiliriz ki, elimizde ki datayı Lineer Regression model ile train ettiğimiz de Bayesian a göre daha iyi bir sonuç almışız dolayısı ile şimdilik bunun üzerinden gidip bir Trained Model oluşturup bunu uygulamalarımızda kullanabiliriz. Ama en başından beri dediğimiz gibi, bu demek değil ki başka bir yöntemle ile train etmiş olduğumuz model imiz daha iyi sonuç vermeyecek. Verebilir de. elimizde ki datalar değiştikçe biz farklı yöntemlerle ile yeni trained modeller oluşturdukça, yani kısaca bu ML projesini kullanacağımız uygulama devam edeceği sürece bu ML projesi de yaşayacaktır.
Şimdi gelelim bu trained modellerden seçtiğimiz bir tanesini web service olarak publish etme kısmına.
Eğer bu örnekteki gibi ekranda birden fazla trained model var ise, öncelikle hangisi üzerinden gideceğinizi belirtmek için kullanacağınız train model in üzerinde bir kere tıklayın onu seçili hale getirin. Daha sonra aşağıda Deploy Web Service butonuna bastığınızda güzel küçük animasyonlar la ML projeniz için yeni bir sekme açılacak ve bir kaç değişiklik göreceksiniz.
Projeniz Predictive Experiment adında yeni bir tabda input ve outputları web service input ve webservice output olarak değişmiş şekilde duruyor olacak . Burada halen experiment üzerinde bazı değişiklikler yapıp Run diyebilirisiniz. Herşey düzgün gidip yeşil tikleri gördükten sonra, aşağıda Deploy Web Service (Classic) butonuna tıklayarak yeni bir pencereye geçiyoruz.
Burada web service olarak deploy edilcek olan ML modelimizin testi için bazı bilgiler veriyor. Service için gerekli Api Key den, daha popup üzerinde service i deneme imkanı sunan birçok buton buraa mevcut. Request/Response yanında ki mavi TEST butonuna basarsak karşımıza service in istediği inputları içeren bir popup çıkacak. Burada ki inputlara değer girerek, aracın fiyatının tahmini service imize yani oluşturmuş olduğumuz Trained Model imize orup öğrenmiş oluruz.
Yada BatchExecution yanında ki Test linkine tıklarsak buradan da yeni bir sayfaya yönleniriz.
Bu yeni sayfada test inputlarını girerek yanda predict edilmiş sonucu görebiliriz. Tamamen bizim service miz üzerinden bizim train ettiğimiz model kullanılarak oluşturulmuş sonuçtur bu tabii ki.
Yada yine bu sayfa üzerinde yukarıdaki sekmelerden Test yerine Consume sekmesine geçersek, bize farklı dillerd bu web service imizi nasıl çağıracağımız ile ilgili bilgi veren hatta bilgiden fazlası direk kodu veren sayfayı görürüz 🙂
Kodların üzerinde bu api ile haberleşmek için gerekli olan key leri bize gösterir. Alt sekmelerde de istediğimiz dil için olan seçeneğe bakıp kodu inceleyebiliriz.
Örneğin c# tarafında bu publish ettiğimiz web service kullanmamız için bize şöyle bir kod bloğu çıkarmış.
// This code requires the Nuget package Microsoft.AspNet.WebApi.Client to be installed. // Instructions for doing this in Visual Studio: // Tools -> Nuget Package Manager -> Package Manager Console // Install-Package Microsoft.AspNet.WebApi.Client using System; using System.Collections.Generic; using System.IO; using System.Net.Http; using System.Net.Http.Formatting; using System.Net.Http.Headers; using System.Text; using System.Threading.Tasks; namespace CallRequestResponseService { class Program { static void Main(string[] args) { InvokeRequestResponseService().Wait(); } static async Task InvokeRequestResponseService() { using (var client = new HttpClient()) { var scoreRequest = new { Inputs = new Dictionary<string, List<Dictionary<string, string>>> () { { "input1", new List<Dictionary<string, string>>(){new Dictionary<string, string>(){ { "Col1", "3" }, { "Col2", "1" }, { "Col3", "alfa-romero" }, { "Col4", "gas" }, { "Col5", "std" }, { "Col6", "two" }, { "Col7", "convertible" }, { "Col8", "rwd" }, { "Col9", "front" }, { "Col10", "88.6" }, { "Col11", "168.8" }, { "Col12", "64.1" }, { "Col13", "48.8" }, { "Col14", "2548" }, { "Col15", "dohc" }, { "Col16", "four" }, { "Col17", "130" }, { "Col18", "mpfi" }, { "Col19", "3.47" }, { "Col20", "2.68" }, { "Col21", "9" }, { "Col22", "111" }, { "Col23", "5000" }, { "Col24", "21" }, { "Col25", "27" }, { "Col26", "13495" }, } } }, }, GlobalParameters = new Dictionary<string, string>() { } }; const string apiKey = "abc123"; // Replace this with the API key for the web service client.DefaultRequestHeaders.Authorization = new AuthenticationHeaderValue( "Bearer", apiKey); client.BaseAddress = new Uri("https://europewest.services.azureml.net/workspaces/42d606822f144b4daf8ded5246815466/services/4b633daa9b0442aa973676e106a78d6d/execute?api-version=2.0&format=swagger"); // WARNING: The 'await' statement below can result in a deadlock // if you are calling this code from the UI thread of an ASP.Net application. // One way to address this would be to call ConfigureAwait(false) // so that the execution does not attempt to resume on the original context. // For instance, replace code such as: // result = await DoSomeTask() // with the following: // result = await DoSomeTask().ConfigureAwait(false) HttpResponseMessage response = await client.PostAsJsonAsync("", scoreRequest); if (response.IsSuccessStatusCode) { string result = await response.Content.ReadAsStringAsync(); Console.WriteLine("Result: {0}", result); } else { Console.WriteLine(string.Format("The request failed with status code: {0}", response.StatusCode)); // Print the headers - they include the requert ID and the timestamp, // which are useful for debugging the failure Console.WriteLine(response.Headers.ToString()); string responseContent = await response.Content.ReadAsStringAsync(); Console.WriteLine(responseContent); } } } } }
Bu kodu alıp yeni bir console projesi açıp yapıştırdığınızda, az önce publish ettiğiniz web service iniz ile haberleşip sonuç aldığınızı göreceksiniz.
Yaptıklarımıza bir özet geçecek olursak;
- Temel seviyede bir ML bilgisi ile Azure Machine Learning Studio ya giriyoruz 🙂
- Üzerinde çalışacağımız DataSet ile, ilgili problem tipimize göre olan model veya algoritmaları ekrana sürükleyip bırakıyoruz. RUN diyerek sonuçlarına bakıyoruz.
- İstediğimiz sonucu veren bir model i seçip, Web service olarak tek tıkla publih ediyoruz.
- Ve bu service i artık istediğimiz client taraftan çağırıp kullanbilir hale geliyoruz.
Bunları hala yazarken bile inanmakta zorluk çekiyorum bu kadar işin bu kadar kolay halde yapılabildiğine. İlk bir kaç denemeden sonra hız kazandığınızda, resmen oyun oynar gibi ML projesi testleri yapar buluyorsunuz kendinizi Azure ML Studio sayesinde. Tabii başka şeyler denedikçe de daha fazla şey öğrenmeye başlıyorsunuz.
Tabii tüm bunları yapınca insan bir an kendini DataScientist sanabiliyor 🙂 ama bunun için bu yaptıklarımızın yanında daha çoooo..ook iş var bunun unutmamak lazım. Yazının başında dediğimiz gibi, günümüzde herhangi bir uygulama artık işininin içerisine bir şekilde ML çözümleri katmak istiyor, e her firmada kendi alanında uzman olan data scientist bulamadığına göre, iş gün sonunda biz developer lara düşüyor, ve Azure ML sayesinde bu iş göreceli olarak az bir eforla gerçekleştirilebilir oluyor.
Bir sonraki yazımda görüşmek üzere.
Azure Machine Learning Studio ile Machine Learning’e Giriş Bölüm 2 – Supervised&Unsupervised Learning, Regression, Classification, Clustering
Selamlar,
Bir önceki yazımda temel olarak Machine Learning in ne olduğundan bahsetmiştik. Bu yazımızda biraz daha teknik detaylara girelim, kavramlara iyice aşina olduktan sonra da direk Azure tarafına geçip, bir Machine Learnin Projesi yapalım.
Şöyle bir hatırlayalım bir Machine Learning Process i şu şekilde idi;
Bir yada birden çok kaynaktan dataları alıp, bunları üzerinde ML algoritmalarını koşacağımız istediğimiz hazırlanmış data haline getirmek, sonrasında üzerinde farklı ML algoritmaları koşup belli aday Modeller çıkarmak, sonrasında bu modellerden birini seçip deploy edip, yeni datalarımızı bu model ile kıyaslamak. Burada görebileceğiniz gibi hem dataları ham halinden alıp istediğimiz hale getirme kısmı, hem de ML algoritmalarının data üzerinde çalışıtırılıp aday modeller çıkarma kısmı hep birbirini tekrar eden süreçler. Önceki yazımızda da dediğimiz gibi tüm bu sürecin kendisi de aslında tamamına bakıldığında aşağıdaki gibi kendini tekrar eden bir süreç
Bir ML projesi düşünürken, ve başlamaya karar vermeden önce karar verilmesi ve emin olunması gereken 3 temel şey vardır. Bunlar olmadan bir ML projesinin başarı ile tamamlanması çok olanaklı değildir.
Bunlar;
- Doğru soruyu sormak. Yani ML projesi sonucunda elde etmek istediğiniz şeyi bilmek
- Bir sonraki ay satış tahmini
- Olası riskli satışları bulma
- Yapılması gerken kampanya bölgeleri tespiti vs vs…
- Bu sorduğunuz sorunun cevabını bulabileceğiniz data elinizde mi? Eğer elinizdeki hiçbir kaynakta bu data yoksa, yani kalkıpta bir karadeliğin maddeyi Event-Horizon dan sonraki bölümde soktuğu formu simüle etmek istemeniz gibi durumlar var ise, muhtemelen yanlış soruyu soruyorsunuzdur.
- ML projesinin başarısının ölçülmesi için, başarı oranını belirlemek. Yapacağınız ML projesinde “%85+” oranda sonuçlar benim için başarılıdır ve model olarak kullanılabilir diyemiyorsanız projenin de biteceğinden şüpheniz olabilir.
Terminoloji
- Training Data: Elinizdeki ham dataları model oluşturmak için üzerinde ML algoritmaları çalıştıracağınız hale getirmek için yaptığınız çalışmaya verilen isim aslında. Yukarıdaki resimler ilk kendini tekrar eden ve bir ML projesinin süresinin %70 ini hatta daha bile fazlasını harcayacağınız kısım.
- Supervised Learning: Tahmin etmeye çalıştığınız değer, zaten Training data nızın içerisinde mevuct ise bu şekildeki ML projeleri Supervised Learning şeklinde sınıflandırılır, ve algoritmalar da buna göre seçilir.
- Örneğin elinizde birçok özelliğe sahip aracın ve bunların fiyatlarının olduğunu düşünün. Farklı bir araba sisteme girmeye kalktığında fiyatını tahmin etmek için önceki araçların özellik ve fiyatlarından faydalanabilirsiniz. Burada tahmin etmeye çalıştığınız şey yani Fiyat zaten training datanı içerisinde mevcut.
- Unsupervised Learning: Supervised ın tersi şeklinde tahmin etmeye çalıştığınız değer, elinizdeki dataların içerisinde olmama durumu. Örneğin web siteniz yada mobil uygulamanızın kullanıcılarını bir şekilde gruplamak sınıflamak istiyorsunuz. Ama neye göre yapacağınızı bile bilmiyorsunuz, bu ve benzeri durumlarda işlenen ML proje tipleri Unsupervised grubua ayrılır ve yine buna göre algoritmalar data üzerinde çalıştırılmak için seçilir
Supervised Learning
Burada gördüğünüz gibi hedef değeriniz zaten data setiniz içerisinde. Fetaures yada columns şeklinde farklı isimlerde duyabilirsiniz data setinizdeki her bir satırdaki farklı değerleri için kullanılan ismi. Geriye kalan process daha önce gösterdiğim gibi aynı şekilde işliyor.
Machine Learning problemleri 3 temel kategoride işleniyor.
Bunlar;
- Regression
- Classification
- Clustering
Bunu bilmekte fayda var çünkü soruyu sorduğumzu andan itibaren Azure tarafına geçtimizde ekrana neler sürükleyip bırakabileceğimz konusunda bize çok filtre sağlayacak 🙂
Regression: Supervised Learnin sınıfı içerisinde;
Örnek soru; Bu üründen önümüzdeki ay kaç adet satarım?
Classification: Bu da bir supervised learning problemi.
örnek soru; bu kredi kartı işlemi hileli mi?
iki den fazla sınıfa da ayırabiliriz tabii ki, sorduğumuz soruya bağlı bir durum bu.
Clustering: Bu bir unsupervised learning problemi. Amaç dataları segmentlere ayırabilmek
örnek soru; müşterilerimizin segmentleri neler olabilir?
Bu kadar temel seviyede Machine Learning bilgisi bile Azure tarafında bir ML projesi geliştirmemiz için yeterli olucaktır. Bir sonraki yazımızda bu iki yazıdan öğrendiklerimizi Azure Machine Learning Studio üzerinde uygulayalım.
Bir sonraki yazımda görüşmek üzere.
Azure Machine Learning Studio ile Machine Learning’e Giriş
Selamlar,
20 Ekim Cumartesi günü Microsoft Türkiye’de gerçekleştirmiş olduğumuz .NetKonf Türkiye etkinliğinde bir çok değerli konuya değindik. İki farklı sunumda iki farklı konu paylaştım gelen arkadaşlarımızla. Çok keyifli geçen bu etkinliğin ardından anlattıklarımı buraya da daha detaylı olarak yazmak istedim.
Yaptığım iki sunum şunlardı;
- Machine Learning with Azure Machıne Learnıng Studio
- Xamarin forms 3.0-1-2-3 features and samples
Bu iki konudan ilkine bakalım bu yazımızda. Bugünlerde artık çokça Machine Learning, AI, DeepLearning vs vs terimlerini duymaya başladığınıza eminim. Birçok ürün herhangi bir reklamında bu terimlerle yer vermeden geçmiyorlar. Peki bizde bir data scientist olmadan kendi projelerimizde ML çözümleri uygulayamaz mıyız?
Tabii ki uygulayabiliriz. Bilgi düzeyimiz bir DataScientist insanının matematik, istatistik ve veri analizi kadar olmasa bile, şunu söyleyebilirim ki, elimizde yeterli derece de analiz edip tahminler yürütmek istediğimiz veriler var ise, kendi uygulamamıza da bu ML çözümlerini bir özellik katmanın özellikle Azure Machine Learning ile ne kadar olduğunu görünce çok şaşıracaksınız.
Tabii hiç bilmeden de olmaz değilmi, bir AI uzmanı olmasak da, öncelikle bu yazımızda bu Machine Learning denen şey nedir, ne değildir bundan bahsedelim. Sonra Azure un bize sağladığı kolaylıkları ve çözümleri görelim.
Machine Learning tam olarak şudur ;
:). Komik gelebilir, ama akademik camia da insanlar senelerdir matematik ve istatistik bilimi üzerinde çalışarak birçok algoritma geliştirdiler zaten. Bu ML in son zamanlarda çok popüler olmasının temel 3 sebebi var;
- Artık çok sayıda denemeler yapıp sonuçlar elde edeceğimiz algoritmalar oluşmuş ve bunlar denenmiş sonuç alınmış durumda
- Artık bilgisayarlar eskisinden çok daha güçlü, bu algoritmalar, belli problemler üzerinde çalıştırılarak çeşitli simülasyon ve analizler yapmak çok daha masrafsız hale gelmiş olmakta.
- Artık çok çok fazla data birikmiş durumda. Her konuda etrafımızda tonlarca data mevcut diyebiliriz.
Bu 3 temel madde bir araya geldi mi artık MachineLearning konuşmakta kaçınılmaz oluyor.
Peki yazının başında bahsettiğim gibi, Machine Learning ile beraber duymaya başlamış olduğunuz daha başka terimler de mevcuttur tahminimce
bunlar;
- Artificial Neural Networks
- Deep Learning
- Bayesian Networks
- Artificial Intelligence
gibi bu liste uzar bile. Peki bunlar nerede çakışır? çakışır mı? Daha büyük resme baktığımız zaman ne nereye oturur buna bakalım.
Yukarıdaki resimde kısaca özetlenmiş bir hali mevcut. Aslında bakarsanız özet şu;
- DeepLearning, Artificial N. Networks, vs vs hepsi özelinde Machine Learning kullanan ve farklı algoritmalar ile farklı sorunlara farklı yaklaşımlar getiren birer özel çözümlerdir. Ve tüm bu çözümler kendi içerisinde Machine Learning kullanırken, nihai amaçları ise, herşeyin özel çözümleri ile sonuçlanabilir olduğu bir Yapay Zeka (Artificial Intelligence) üretme çabasıdır.
Peki, madem artık biliyoruz ki tüm duyduğumuz terimler içerisinde Machine Learning daha da core bir seviyede kullanılıyor. O zaman şunu anlamaya çalışalım. Machine Learning ne demek?
Aslında biraz süslü bu tanımın arkasında yatan şey, insan gözüyle ve hızıyla bakıp çıkarımlar yapmamızın çok uzun süreceği şeyleri, bilgisayara aktarıp onun yapmasını sağlamak.
Yukarıda ki resme bir bakalım. Elimizde olan bu kredi kartı satışlarının fraud(sahte-hileli) olup olmama durumunu içeren kayıtlar sadece bu kadar olsa, bu datalara bakıp bir süre sonra birtakım çıkarımlarda bulunabilirdik değil mi?
Örneğin;
- 20 ile 30 yaşları arasında, Amerika da verilmiş, Rusyada kullanılmış ve 1000$ üzerinde olan işlemlerde fraud olma riski yüksek diyebilirdik.
Ama bu datanın milyonlarca kayıttan oluştuğunu düşünün. Üzerine bir de bu kadar az kolon yerine onlarca kolondan oluşan farklı detaylar içeren kayıtlar olduğunu düşünün.
Bu durumda bir yada onlarca insanın bu datalara bakıp çıkarımlar yapması yerine, yıllardır geliştirilmiş algoritmaları ve günümüzün güçlü bilgisayarlarını kullanıp bu işi onlara bıraksak daha kolay olmaz ve kısa sürmez mi? Şüphesiz. İşte tam da bu işi bilgisayarlara bırakalım o zaman dediğimiz noktada Machine Learning devreye girmiş oluyor.
Peki bir de büyük resimde bu Machine Learning nasıl işliyor buna bakalım.
Aslında en üstten baktığımızda tüm süreç bu kadar desek yanlış olmaz 🙂 tabii her zaman olduğu gibi detaylara indikçe boğulmalar olacaktır. Ama özetle olay şu;
- Elimizde bir tek bir kaynaktan yada farklı kaynaklarda olan takım datalar var. Bunları bir araya getirip incelemek istediğimiz tek bir data set i olarak birleştirelim. (Burası başlı başına olay zaten, sadece bunun için bile bir ton tool var)
- Daha sonra bizim yukarıdaki örnekte, insan gözüyle bir kaç saniyede yaptığımız gibi, bazı benzerlikler bulmaya çalışalım bu data içerisinde. Bunu yaparken de var olan onlarca data algoritmayı deneyerek başlayabiliriz.
- Artık bir benzerlik bulduğumuzu düşündüğümüz anda, bunu bir model olarak benimseyelim ve bundan sonraki datalara bakarken dataların bu modele e ne kadar uyup uymadıklarına bakalım.
Tüm süreç dediğimiz gibi aslında en dışarıdan bakıldığında bu kadar. Ama bu sürecin kendisi tamamen kendini tekrar eden bir süreç. Bunu unutmamak lazım. Yani bir Machine Learning Projesi, hiçbir zaman tam olarak bitti diyemezsiniz, çünkü yeni veri akışı oldukça, sizin data setleriniz değiştikçe, uyguladığınız algoritmalar, bulduğunuz benzerlikler ve nihayetinde ortaya çıkan modeller değiştikçe tum bu yukardıdaki resimdeki süreç aslında başa sarıp sarıp duracaktır. Yani sürecin kendisi tamamen iterative – kendini tekrar eden- bir süreçtir.
Günümüzde artık İş adamlarıi yazılımcılar, datascientist ler vs neredeyse herkes bu ML işine, işinin bir kısmında bir takım sorunlarına çözüm bulmak için ihtiyaç duyuyor.
Bu kadar çok adı geçmiş ken bir de şuna bakalım. Kim bu data scientist?
Data Scientist olmanız için 3 temel şart vardır diyebiliriz.
- İstatistik ve haliyle Matematik Bilgisi
- Programlama Bilgisi
- Belli bi Domain de (örn; bankacılık) iş anlamında yüksek derecede bilgi.
ilk iki madde olsa bile kendinize ben her konuda data scientist im demek, bir api yazıp, html editleyip, kendinize ben fullstack developer ım demek gibi olabilir. Çünkü veriyi yorumlayacığınız alanda bilgi sahibi olmak size, hangi algoritmaları seçmeniz gerektğinden hangi data setleri ile çalışmanız gerektiğine kadar birçok alanda fayda sağlayacaktır.
Peki, yazının başında dediğimiz gibi bir data Scientist olmadan da ML çözümleri üretemez miyiz üretebiliriz. Cloud ortamlarda bunu bize servis olarak sunan büyük küçük birçok vendor var.
Yukarıda gördüğünüz gibi Clouda olarak bu hizmeti veren en büyük iki firma Microsoft ve Amazon. Biz bunlarda Azure üzerinde neler yapabileceğimize bakacağız.
Bir ML projesinin temel düzeyde ne aşamalardan oluştuğunu gördüğümüze göre Azure tarafında büyük resimde işler nasıl işliyor buna bakalım.
Birçok farklı kaynaktan datanızı Machine Learning Studio üzerinde sürükle bırak (evet yanlış okumadınız baya sürükle bırak=)) yöntemiyle belli algoritmalar üzerinden geçirip, ortaya bir iki tıkla bir web service çıkartıyorsunuz. Ve bu servisi Web- mobil, yada diğer ihtiyaç duyduğunuz yerlerde kullanmaya başlıyorsunuz.
Bu yazıyı burada noktalıyorum. Bir sonraki yazımda Machine Learning in biraz da terimsel taraflarına bakıp. Azure tarafına giriş yapalım.
Bir sonraki yazımda görüşmek üzere.
Erhan Ballıeker 