Azure Machine Learning Studio ile Machine Learning’e Giriş

Selamlar,

20 Ekim Cumartesi günü Microsoft Türkiye’de gerçekleştirmiş olduğumuz .NetKonf Türkiye etkinliğinde bir çok değerli konuya değindik. İki farklı sunumda iki farklı konu paylaştım gelen arkadaşlarımızla. Çok keyifli geçen bu etkinliğin ardından anlattıklarımı buraya da daha detaylı olarak yazmak istedim.

Yaptığım iki sunum şunlardı;

• Machine Learning with Azure Machıne Learnıng Studio
• Xamarin forms 3.0-1-2-3 features and samples

Bu iki konudan ilkine bakalım bu yazımızda. Bugünlerde artık çokça Machine Learning, AI, DeepLearning vs vs terimlerini duymaya başladığınıza eminim. Birçok ürün herhangi bir reklamında bu terimlerle yer vermeden geçmiyorlar. Peki bizde bir data scientist olmadan kendi projelerimizde ML çözümleri uygulayamaz mıyız?

Tabii ki uygulayabiliriz. Bilgi düzeyimiz bir DataScientist insanının matematik, istatistik ve veri analizi kadar olmasa bile, şunu söyleyebilirim ki, elimizde yeterli derece de analiz edip tahminler yürütmek istediğimiz veriler var ise, kendi uygulamamıza da bu ML çözümlerini bir özellik katmanın özellikle Azure Machine Learning ile ne kadar olduğunu görünce çok şaşıracaksınız.

Tabii hiç bilmeden de olmaz değilmi, bir AI uzmanı olmasak da, öncelikle bu yazımızda bu Machine Learning denen şey nedir, ne değildir bundan bahsedelim. Sonra Azure un bize sağladığı kolaylıkları ve çözümleri görelim.

Machine Learning tam olarak şudur ;

:). Komik gelebilir, ama akademik camia da insanlar senelerdir matematik ve istatistik bilimi üzerinde çalışarak birçok algoritma geliştirdiler zaten. Bu ML in son zamanlarda çok popüler olmasının temel 3 sebebi var;

1. Artık çok sayıda denemeler yapıp sonuçlar elde edeceğimiz algoritmalar oluşmuş ve bunlar denenmiş sonuç alınmış durumda
2. Artık bilgisayarlar eskisinden çok daha güçlü, bu algoritmalar, belli problemler üzerinde çalıştırılarak çeşitli simülasyon ve analizler yapmak çok daha masrafsız hale gelmiş olmakta.
3. Artık çok çok fazla data birikmiş durumda. Her konuda etrafımızda tonlarca data mevcut diyebiliriz.

Bu 3 temel madde bir araya geldi mi artık MachineLearning konuşmakta kaçınılmaz oluyor.

Peki yazının başında bahsettiğim gibi, Machine Learning ile beraber duymaya başlamış olduğunuz daha başka terimler de mevcuttur tahminimce

bunlar;

• Artificial Neural Networks
• Deep Learning
• Bayesian Networks
• Artificial Intelligence

gibi bu liste uzar bile. Peki bunlar nerede çakışır? çakışır mı? Daha büyük resme baktığımız zaman ne nereye oturur buna bakalım.

Yukarıdaki resimde kısaca özetlenmiş bir hali mevcut. Aslında bakarsanız özet şu;

• DeepLearning, Artificial N. Networks, vs vs hepsi özelinde Machine Learning kullanan ve farklı algoritmalar ile farklı sorunlara farklı yaklaşımlar getiren birer özel çözümlerdir. Ve tüm bu çözümler kendi içerisinde Machine Learning kullanırken, nihai amaçları ise, herşeyin özel çözümleri ile sonuçlanabilir olduğu bir Yapay Zeka (Artificial Intelligence) üretme çabasıdır.

Peki, madem artık biliyoruz ki tüm duyduğumuz terimler içerisinde Machine Learning daha da core bir seviyede kullanılıyor. O zaman şunu anlamaya çalışalım. Machine Learning ne demek?

Aslında biraz süslü bu tanımın arkasında yatan şey, insan gözüyle ve hızıyla bakıp çıkarımlar yapmamızın çok uzun süreceği şeyleri, bilgisayara aktarıp onun yapmasını sağlamak.

Yukarıda ki resme bir bakalım. Elimizde olan bu kredi kartı satışlarının fraud(sahte-hileli) olup olmama durumunu içeren kayıtlar sadece bu kadar olsa, bu datalara bakıp bir süre sonra birtakım çıkarımlarda bulunabilirdik değil mi?

Örneğin;

• 20 ile 30 yaşları arasında, Amerika da verilmiş, Rusyada kullanılmış ve 1000$ üzerinde olan işlemlerde fraud olma riski yüksek diyebilirdik.

Ama bu datanın milyonlarca kayıttan oluştuğunu düşünün. Üzerine bir de bu kadar az kolon yerine onlarca kolondan oluşan farklı detaylar içeren kayıtlar olduğunu düşünün.

Bu durumda bir yada onlarca insanın bu datalara bakıp çıkarımlar yapması yerine, yıllardır geliştirilmiş algoritmaları ve günümüzün güçlü bilgisayarlarını kullanıp bu işi onlara bıraksak daha kolay olmaz ve kısa sürmez mi? Şüphesiz. İşte tam da bu işi bilgisayarlara bırakalım o zaman dediğimiz noktada Machine Learning devreye girmiş oluyor.

Peki bir de büyük resimde bu Machine Learning nasıl işliyor buna bakalım.

Aslında en üstten baktığımızda tüm süreç bu kadar desek yanlış olmaz 🙂 tabii her zaman olduğu gibi detaylara indikçe boğulmalar olacaktır.  Ama özetle olay şu;

• Elimizde bir tek bir kaynaktan yada farklı kaynaklarda olan takım datalar var. Bunları bir araya getirip incelemek istediğimiz tek bir data set i olarak birleştirelim. (Burası başlı başına olay zaten, sadece bunun için bile bir ton tool var)
• Daha sonra bizim yukarıdaki örnekte, insan gözüyle bir kaç saniyede yaptığımız gibi, bazı benzerlikler bulmaya çalışalım bu data içerisinde. Bunu yaparken de var olan onlarca data algoritmayı deneyerek başlayabiliriz.
• Artık bir benzerlik bulduğumuzu düşündüğümüz anda, bunu bir model olarak benimseyelim ve bundan sonraki datalara bakarken dataların bu modele e ne kadar uyup uymadıklarına bakalım.

Tüm süreç dediğimiz gibi aslında en dışarıdan bakıldığında bu kadar. Ama bu sürecin kendisi tamamen kendini tekrar eden bir süreç. Bunu unutmamak lazım. Yani bir Machine Learning Projesi, hiçbir zaman tam olarak bitti diyemezsiniz, çünkü yeni veri akışı oldukça, sizin data setleriniz değiştikçe, uyguladığınız algoritmalar, bulduğunuz benzerlikler ve nihayetinde ortaya çıkan modeller değiştikçe tum bu yukardıdaki resimdeki süreç aslında başa sarıp sarıp duracaktır. Yani sürecin kendisi tamamen iterative – kendini tekrar eden- bir süreçtir.

Günümüzde artık İş adamlarıi yazılımcılar, datascientist ler vs neredeyse herkes bu ML işine, işinin bir kısmında bir takım sorunlarına çözüm bulmak için ihtiyaç duyuyor.

Bu kadar çok adı geçmiş ken bir de şuna bakalım. Kim bu data scientist?

Data Scientist olmanız için 3 temel şart vardır diyebiliriz.

• İstatistik ve haliyle Matematik Bilgisi
• Programlama Bilgisi
• Belli bi Domain de (örn; bankacılık) iş anlamında yüksek derecede bilgi.

ilk iki madde olsa bile kendinize ben her konuda data scientist im demek, bir api yazıp, html editleyip, kendinize ben fullstack developer ım demek gibi olabilir. Çünkü veriyi yorumlayacığınız alanda bilgi sahibi olmak size, hangi algoritmaları seçmeniz gerektğinden hangi data setleri ile çalışmanız gerektiğine kadar birçok alanda fayda sağlayacaktır.

Peki, yazının başında dediğimiz gibi bir data Scientist olmadan da ML çözümleri üretemez miyiz üretebiliriz. Cloud ortamlarda bunu bize servis olarak sunan büyük küçük birçok vendor var.

Yukarıda gördüğünüz gibi Clouda olarak bu hizmeti veren en büyük iki firma Microsoft ve Amazon. Biz bunlarda Azure üzerinde neler yapabileceğimize bakacağız.

Bir ML projesinin temel düzeyde ne aşamalardan oluştuğunu gördüğümüze göre Azure tarafında büyük resimde işler nasıl işliyor buna bakalım.

Birçok farklı kaynaktan datanızı Machine Learning Studio üzerinde sürükle bırak (evet yanlış okumadınız baya sürükle bırak=)) yöntemiyle belli algoritmalar üzerinden geçirip, ortaya bir iki tıkla bir web service çıkartıyorsunuz. Ve bu servisi Web- mobil, yada diğer ihtiyaç duyduğunuz yerlerde kullanmaya başlıyorsunuz.

Bu yazıyı burada noktalıyorum. Bir sonraki yazımda Machine Learning in biraz da terimsel taraflarına bakıp. Azure tarafına giriş yapalım.

Bir sonraki yazımda görüşmek üzere.