Derin Öğrenme Yöntemleri ve Uygulamaları

15 min readSep 21, 2020

Günümüzde kullanıcılar 7/24 büyük miktarlarda veri üretiyor. Bu veriler, yüksek performanslı bilgi işlem (HPC) kullanılarak işlenmektedir. Aynı zamanda, bellek içi bilgi işlemin (IMC) paralel işlem mimarisi, öğrenme performansını etkilemeden, sürekli olarak güncellenmesini sağlar.
Şirketler, daha kapsamlı ve daha güçlü eğitim modellerini kullanabilmek için son birkaç yılda elde edilen yeni yapay zekâ yeteneklerinden yararlanıyor. Daha fazla sektör etkileyici sonuçlar elde etmeye devam ettikçe, yapay zekâ modellerinin kullanım sayısı artmaya devam edecektir.

Klasik makine öğrenimi algoritmaları, veri kümeleri için birkaç yüz özelliğe kadar iyi çalışır. Görüntü tanıma gibi birçok yeni teknolojide, günümüze göre muazzam gelişmeler yaşanmıştır. Örneğin tek bir 1200x1000 piksel RGB görüntüsü 36 milyon kaliteye sahiptir. Bu tür veri kümelerine klasik bir makine öğrenimi yaklaşımı benimsemek maliyetli olmakla kalmaz, çoğu zaman uygulanabilir değildir.

Derin Öğrenmede Daha İyi Sonuçları Nasıl Alabiliriz?

Derin öğrenme, ham girdi verilerine dayalı olarak diğer katmanlarda üst düzey bilgileri deşifre etmek için sinir ağı algoritmalarının katmanlarını kullanır. Örneğin, bir görüntü tanıma uygulamasında, bir katman keskin kenarlar veya ışıktaki kontrastlar gibi özellikleri belirleyebilirken, bir diğeri farklı farklı şekillerin nasıl göründüğünü belirleyebilir. Ayrıca, üçüncü bir katman, görüntünün ne gösterdiğini deşifre edebilir. Tüm bunlar, önceki katmanlardan gelen bilgilerin ayırt edilebilir nesneler oluşturmak için bir araya getirilmesinin farklı yollarını öğrenerek elde edilir.

Sinir ağı algoritmaları, insan beyninden esinlenerek yaratılmış, veri modellerini tanımak için tasarlanmıştır. Sinir ağları, özelliklerinin benzerliklerine dayalı olarak geniş bir veri örneği içinde noktaların kümelenmesine yardımcı olabilir, verileri önceki verilerdeki etiketlere göre sınıflandırabilir ve verilerden farklı özellikler çıkarabilir. Bu ağların tanıdığı sayısal modeller, gerçek dünya girdilerini gösteren vektörlerde saklanır. Derin sinir ağları, pekiştirmeli öğrenme, sınıflandırma ve regresyon için algoritmalar içeren daha büyük makine öğrenimi uygulamalarının bileşenleri olarak düşünülebilir.

Derin öğrenme, birçok gizli katman, büyük veri ve güçlü hesaplama kaynakları ile kendi kendine öğretilen öğrenmeyi ve algoritma yapılarını kullanır. Algoritmik çerçeve sinir ağı olarak adlandırılırken, işin içine gizli katmanlar girdiğinde ona derin öğrenme diyebilmekteyiz.

Google Brain Team[1] projesi ve TensorFlow gibi derin öğrenme yazılımları, derin öğrenme tekniklerinin geliştirilmesinde daha fazla itiş gücü sağladı. Bu tür teknikler, istenen çıktıyı elde etmek için matematiksel işlevlere ve parametrelere dayanır.

Derin Öğrenme Mimarileri

Derin öğrenme mimarisi, sosyal ağ filtreleme, dolandırıcılık tespiti, görüntü, konuşma ve ses tanıma, bilgisayarla görme, tıbbi görüntü işleme, biyoinformatik, müşteri ilişkileri yönetimi ve daha pek çok alana uygulanır. Derin öğrenme modellerinde etkileyici sonuçlar elde etmek için sinir ağları eğitilir.

Artificial Neural Network (ANN)

Derin öğrenme kavramı, insan beyninin neokorteksindeki nöron katmanlarındaki davranış kalıplarına göre modellenmiştir. Ne kadar çok katman varsa, model o kadar derin ve performansı da o kadar yüksek olur.

Bir sinir ağı, farklı şekillerde bağlanan ve farklı aktivasyon işlevleri üzerinde çalışan algılayıcıların (perceptrons) bir bileşimidir. Bir algılayıcı, ikili sınıflandırıcıların denetimli öğreniminde kullanılan bir algoritmadır.
İkili sınıflandırıcı, bir girdinin (sayı vektörü olarak temsil edilir) iki sınıftan birine ait olup olmadığına karar veren bir işlevdir.

Bir algılayıcı ağına, yapay sinir ağı (YSA) da denilen çok katmanlı algılayıcı denir.

Günümüzde kullanılan derin öğrenme mimarisi, esas olarak, özellik çıkarma ve dönüştürme için birden çok doğrusal olmayan işlem katmanını kullanan YSA’lara dayanmaktadır.

Derin Öğrenme Algoritmaları Nasıl Çalışır?

Derin öğrenme algoritmaları kendi kendine öğrenme temsillerine sahipken, temelde beynin bilgiyi hesaplama şeklini yansıtan YSA’lara benzemektedir. Eğitim süreci sırasında algoritmalar, özellikleri ayıklamak, nesneleri gruplandırmak ve yararlı veri modellerini keşfetmek için girdi dağıtımında bilinmeyen öğeleri kullanır.
Kendi kendine öğrenme, modelleri oluşturmak için algoritmaları kullanarak birden çok seviyede gerçekleşir.

Derin öğrenme modelleri birkaç algoritmadan yararlanır. Tek bir ağ mükemmel kabul edilmezken, bazı algoritmalar belirli görevleri yerine getirmek için daha uygundur. Doğru olanı seçmek için ya bu algoritmaları çok iyi kavramak gerekiyor ya da eldeki veriye en uygun hangi algoritma yüksek başarı sağlar denemek gerekir.

1. Multilayer Perceptron Neural Network (MLPNN)

Nedir: Çok katmanlı algılayıcı, derin öğrenmeye sağlam bir giriş görevi görür. Belirli bir girdi setinden bir dizi çıktı oluşturmak için iki adede kadar gizli katmana sahip ileri beslemeli denetimli bir öğrenme algoritması kullanır. Adından da anlaşılacağı gibi birden fazla algılayıcıdan oluşur.

Nasıl çalışır: Ağ, yönlendirilmiş bir grafikte birden fazla nöron katmanını birbirine bağlar, böylece sinyal düğümlerden bir yönde geçer. Çıkış vektörü, girdiler ve ileri beslemeli hesaplama akışındaki rastgele ağırlık seçimi göz önüne alındığında hesaplanır. Model, bir eğitim veri setinden girdi ve çıktı arasındaki bağımlılıkları öğrenmek için eğitilir. Belirli bir girdi için çıktı olması gerekenler arasındaki hata miktarı hesaplanır ve eğitim, çıktı katmanındaki hatayı azaltmak için ağırlıkların (weights) ve bias’ın ayarlanmasını içerir. Geriye doğru giden gizli katmanlar için işlem tekrarlanır. Geri yayılım, hataya göre ağırlık ve bias ayarlamalarını yapmak için kullanılır. Hatanın kendisi, kök ortalama kare hatası (RMSE) dâhil olmak üzere çeşitli yollarla da ölçülebilir.

Yararları: MLPNN’ler, çeşitli parametreleri içeren karmaşık sorunları çözebilir ve doğrusal olmayan şekilde ayrılabilir veri noktalarını sınıflandırabilir.

Kullanım durumları: MLPNN, aşağıdaki durumlarda olduğu gibi denetimli öğrenme ve paralel dağıtılmış işleme gerektiren sorunları çözmek için kullanılır:

· Görüntü doğrulama ve yeniden yapılandırma

· Konuşma tanıma

· Makine çevirisi

· Veri sınıflandırması

· Birçok parametrenin dâhil olduğu e-ticaret

2. Backpropagation

Nedir: Denetimli Öğrenme yapılarından biri olan Geri yayılım algoritması, sinir ağı eğitiminin temelidir. Çıkıştan girişe veya geriye doğru güncellenen ağırlıklarla bir gradyan inişini hesaplar.

Nasıl çalışır: Başlangıçta bir sinir ağı, verileri okumak için ilk değerleri öylesine verilmiş ağırlıklardan ve biaslardan oluşur. Bir sinir ağının verileri yorumlaması, ağırlıklarının ve biaslarının değerleri aracılığıyla yapılır. Tahmin katmanında mevcut olan hatalar, gelecekteki tahminlerin daha düşük hata değerlerine sahip olması için ağırlıkları ve biasları ayarlamak için ağ üzerinden geri gönderilir.

Algoritma, delta kuralı veya gradyan iniş optimizasyonu adı verilen bir tekniği kullanarak her bir nöronun hata katkısını hesaplar. Nöronların ağırlığı, çıktı katmanındaki hatayı azaltmak için ayarlanır. Sinir ağlarının katmanları sırayla çalıştığı için, her katmandaki türevleri bulmak, önceki ve sonraki katmanlara kıyasla parametreler için her katmandaki hata değişiminin bir ilişkisini kurar.

Backpropagation’ı uygulamalı olarak daha iyi anlamak için Logistic Regresyon çalışmama bakabilirsiniz.
https://medium.com/@alitunacanonar/makine-%C3%B6%C4%9Frenimi-notlar%C4%B1m-6-logistic-regression-472092ff9ee6

Yararları: Geri yayılım, geliştiricilerin hata noktalarının ağırlıklara nasıl katkıda bulunduğunu bilmelerini sağlar. Hataya açık projelerde iyi çalışır ve derin sinir ağlarını eğitmek için kullanılabilir.

Kullanım durumları: Backpropagation, veri madenciliği ve makine öğreniminde tahminlerin doğruluğunu artırmak için görüntü ve konuşma tanımada ve türevlerin hızlı bir şekilde hesaplanması gereken projelerde kullanılabilir.

3. Convolutional Neural Network (CNN)

Nedir: Evrişimli Sinir Ağı [2], denetimli öğrenme ve verileri analiz etmek için algılayıcıları kullanan çok katmanlı, ileri beslemeli bir sinir ağıdır. Esas olarak görüntü sınıflandırması gibi görsel verilerde kullanılır.

Derin öğrenmedeki büyük ilerlemeler, 2012'de düzenlenen bir yarışmada CNN’lerin heyecan verici bir şekilde uygulanmasından kaynaklanmaktadır. ImageNet Büyük Ölçekli Görsel Tanıma Yarışması’nın (ILSVRC) temelini oluşturan AlexNet adlı derin evrişimli mimarinin başarısı, son birkaç yılda derin öğrenme alanında önemli ölçüde hızlandırılmış araştırmanın birincil nedeni.

Ancak CNN’ler görüntü tanıma ile sınırlı değildir. Doğrudan metin analitiğine uygulanmışlardır ve grafik evrişimli ağlar kullanılarak bir spektrogram ve grafik verileri olarak temsil edildiğinde sese uygulanabilir.

Nasıl çalışır: CNN mimarisi diğer sinir ağlarından farklıdır. Bu ayrımı daha iyi anlamak için görüntüleri veri olarak değerlendirin. Tipik olarak bilgisayarla görmede, görüntüler iki boyutlu sayı matrisleri olarak ele alınır. Bununla birlikte, CNN’lerde bir görüntü, bir tensör veya ek boyutlara sahip bir sayı matrisi olarak kabul edilir. Aşağıdaki resim bu kavramlara açıklık getirecektir:

Tensörler, potansiyel olarak sonsuz sayıda meydana gelen iç içe dizilerle dizilerin iç içe geçmesiyle oluşturulur.

Özellikle görüntüler dört boyutlu tensörler olarak değerlendirilir. Skaler sıfır boyutlu bir nesneyse vektör tek boyutludur, vektörlerin bir matrisi veya koleksiyonu iki boyutludur ve bu tür matrislerden oluşan bir yığın üç boyutludur(küp olarak tabir edilir). Daha sonra dört boyutlu bir tensör, küpteki her bir öğenin kendisine eklenmiş bir dizi özellik haritasına sahip olduğu çok sayıda üç boyutlu nesneden oluşur.

CNN’ler; gizli katmanlar, evrişimli katmanlar, normalleştirme katmanları, havuz katmanları ve tamamen bağlantılı bir katman içerir.
Bir girdi görüntüsü alır, farklılaşmayı sağlamak için görüntünün çeşitli yönlerine önemli ağırlıklar ve biaslar atar ve minimum ön işlemle filtreler uygular.

İlk evrişim katmanı düşük seviyeli özellikleri yakalarken, sonraki katmanlar daha yüksek seviyeli özellikleri çıkarır ve veri setindeki görüntülerin sofistike bir analizi ile bir ağ oluşturur.

Yararları: CNN algoritması tanıma konusunda etkilidir ve yüksek oranda uyarlanabilir. Daha az eğitim parametresi olduğu ve geri yayılımla birleştirildiğinde ölçeklenebilir olduğu için eğitilmesi de kolaydır.

Kullanım örnekleri:

· Görüntü işleme, tanıma ve sınıflandırma

· Video tanıma

· Doğal dil işleme görevleri

· Desen tanıma

· Öneri motorları

· Tıbbi görüntü analizi

4. Recurrent Neural Network (RNN)

Nedir: Tekrarlayan Sinir Ağı, bir veri kümesinin sıralı özniteliğini tanımak ve bir sonraki olası senaryoyu tahmin etmek için kalıpları kullanmak üzere tasarlanmıştır. Ses, zaman serisi verileri ve yazılı doğal dil gibi sıralı verileri işlemeye yönelik güçlü bir yaklaşımdır. Stokastik Gradyan İnişi, ağı bir geri yayılım algoritmasıyla birlikte eğitmek için kullanılır.

Nasıl çalışır: Giriş ve çıkışların birbirinden bağımsız olduğu geleneksel ağların aksine, bir RNN’de gizli katman önceki adımlardan sıralı bilgileri korur. Bu, önceki bir adımın çıktısının, tahmin amacıyla aynı ağırlık ve bias kullanılarak mevcut bir adıma girdi olarak beslendiği anlamına gelir. Katmanlar daha sonra tek bir tekrarlayan katman oluşturmak için birleştirilir. Bu geri bildirim döngüleri sıralı verileri işler, bilgilerin bellekte olduğu gibi kalmasına izin verir ve son çıktıyı bilgilendirir.

Bir RNN, önceki bir giriş harfinin sonraki harfini tahmin etmekle görevlendirilmişse, bilinen kelimelerin harflerini harf harf besleyerek eğitebilir, böylece ilgili kalıpları belirler.
RNN’ler, bilgiyi iki yönde işlemek için katmanlanır: ileri besleme (verileri ilk girişten son çıkışa işlemek için) ve geri yayılımı kullanan geri bildirim döngüleri (bilgiyi ağa geri döndürmek).

RNN’ler ileri beslemeli ağlardan farklıdır çünkü ileri beslemeli ağlar bir girişi kabul eder ve her seferinde bir çıktı verir. Bu bire bir kısıtlama, yerleşik belleğine dayalı tahminler oluşturmak için önceki örneklere başvurabilen RNN’lerde mevcut değildir.

Yararları: CNN’ler, sıralı ve zamansal verileri işlemenin yanı sıra sıra tahmin problemlerindeki bağlamı da öğrenebilir. Ayrıca çeşitli uygulamalarda kullanılabilirler.

Kullanım örnekleri:

· Duygu sınıflandırması

· Resim yazısı

· Konuşma tanıma

· Doğal dil işleme

· Makine çevirisi

· Arama tahmini

· Video sınıflandırması

5. Long Short-Term Memory (LSTM)

Nedir: Uzun-Kısa Süreli Bellek Algoritması, ağırlıkları güncelleyen gradyanları kararsız hale getirmeden, derin tekrarlayan ağların eğitilmesine izin veren bir RNN türüdür. Desenler, verileri seçerek geri çağırma veya silme yeteneği ile daha uzun süreler için bellekte saklanabilir.

Nasıl çalışır: Geri yayılımı kullanır, ancak nöronlar yerine katmanlara bağlı bellek bloklarını kullanarak sekans verilerini öğrenmek için eğitilir. Bilgiler katmanlar aracılığıyla işlenirken, gerektiğinde verileri ekleyebilir, çıkarabilir veya değiştirebilir.

Faydaları: Bu algoritma, zaman serisi verilerine dayalı olarak sınıflandırma ve tahmin için en uygun olanıdır ve çeşitli problemler için gelişmiş sonuçlar sunar. Bunlar, veri bilimcilerinin büyük yığınlanmış ağları kullanarak derin modeller oluşturmasına ve makine öğreniminde karmaşık sıralı sorunları daha verimli bir şekilde ele almasına olanak tanır.

Kullanım durumları:

· Görüntülere ve videolara altyazı koyma

· Dil çevirisi ve modelleme

· Duygu analizi

· Borsa tahminleri

6. Generative Adversarial Network (GAN)

Nedir: Üretken Çekişmeli Ağlar, denetimsiz öğrenme için kullanılan Derin Öğrenmenin en heyecan verici algoritmalarından biridir.
Bir eğitim seti verildiğinde, ağ, giriş verilerindeki düzenlilikleri ve kalıpları otomatik olarak keşfedip öğrenir, böylece yeni veri oluşturmayı kendi kendine öğrenebilir. Küçük varyasyonlarla herhangi bir veri kümesini esasen taklit edebilir.

GAN’lar, iki ağdan oluşan derin sinir ağı mimarileridir, biri diğeriyle karşı karşıya gelir, bu yüzden adını buradan almaktadır.

Nasıl çalışır: GAN iki alt model kullanır: generator (üretken) ve discrimator (ayırıcı). Üretken yeni veri örnekleri yaratırken, ayırıcı gerçek alan verileri ile sahte üretilmiş örnekler arasında ayrım yapar. Tekrar tekrar çalışırlar ve her tekrarda daha da sağlam hale gelirler.

Faydaları: GANS, belirli bir veri kümesindeki varyasyonları yakalayabilir ve kopyalayabilir, bir görüntü veri kümesinden görüntüler veya yüksek kaliteli veriler oluşturabilir.

Kullanım durumları:

· Siber güvenlik

· Sağlık teşhisi

· Doğal dil işleme

· Konuşma işleme

7. Restricted Boltzmann Machine (RBM)

Nedir: Kısıtlanmış Boltzmann Makinesi, olasılıksal bir grafik model veya bir tür stokastik sinir ağıdır. İşbirliğine dayalı filtreleme için sağlam bir mimaridir ve verimli öğrenme için katmanlar arasında sınırlı iletişimle ikili faktör analizi gerçekleştirir.

RBM’lerin çoğunun makine öğrenimi uygulayıcısı tarafından, GAN’lar veya otomatik kodlayıcılar ile değiştirildiğini belirtmek gerekir.

Nasıl çalışır: Ağda bir görünür birim katmanı, bir gizli birim katmanı ve tüm görünür ve gizli birimlere bağlı bir bias birimi vardır. Tarafsız örnekler vermenin bir yolu olarak gizli birimler bağımsızdır. İkili grafikteki nöronların simetrik bir bağlantısı vardır. Bununla birlikte, bir grup içindeki düğümler arasında bağlantı yoktur.

Yararları: RBM, tasarım esnekliği gibi enerji temelli öğrenmenin avantajlarını sunar, hem olasılıklı hem de olasılıklı olmayan istatistiksel modeller için yararlıdır, kolay öğrenme için bağlantıyı kısıtlar. Sınıflandırma, regresyon ve üretken modellerle kullanılır.

Kullanım durumları:

· Öneri sistemleri

· Filtreleme

· Özellik öğrenimi

· Boyutsal küçülme

· Konu modelleme

8. Deep Belief Network (DBN)

Nedir: Derin İnanç Ağı, ağın üretken bir öğrenme modeline sahip olduğu, denetimsiz öğrenme algoritmasıdır.
Üst katman, yönlendirilmemiş bir RBM ve alt katmanlar aşağıya doğru yönlendirilmiş ve yönlendirilmemiş grafik ağların bir karışımıdır. Bu, bir ön eğitim aşaması ve ince ayar aşaması için ileri beslemeli bir ağ sağlar.

Kaynak: http://www.ashokrahulgade.com/skills/DL/DBN/Introduction.html

Nasıl çalışır: DBN, birbirine bağlı birden fazla gizli birim katmanına sahiptir.
Öğrenme algoritması, yığınlanmış RBM’lerden “greedy” oluşur. Her yığılmış ağın gizli katmanı, bir sonraki katman için görünür katman özelliği taşır.

Faydaları: DBN’ler enerji temelli öğrenme sunar ve etiketlenmemiş verilerden yararlanabilir.

Kullanım durumları:

· Görüntü ve yüz tanıma

· Video dizisi tanıma

· Hareket yakalama verileri

· Yüksek çözünürlüklü uydu görüntüsü verilerinin sınıflandırılması

Derin Öğrenme Alanında Çalışan Ekipler

Yukarıdaki tabloda Çalışma Alanlarında ki kısaltmalar:

NLP: Natural Language Proccessing (Doğal Dil İşleme)

IP: Image Proccessing (Görüntü İşleme)

SP: Health and robotics (Sağlık ve Robotik)

CV: Computer Vision (Bilgisayarla Görü)

Derin Öğrenme Kütüphaneleri / Yazılımları

Derin Öğrenme Uygulamaları

Bu bölümde alan bazında inceleme yapılarak, hangi alanlara hangi yöntemler uygulanıyor onu inceleyeceğiz.

Doğal Dil İşleme

Yarı denetimli duyarlılık sınıflandırma problemini aktif öğrenme ile ele almak için Active Deep Networks (ADN) adlı yeni bir yarı denetimli öğrenme algoritması, Shusen Zhou önderliğinde sunulmuştur.
İlk olarak, ADN’nin yarı denetimli öğrenme yöntemini önerdiler. ADN, Kısıtlı Boltzmann Makineleri (RBM) tarafından, etiketli veriler ve bol miktarda etiketlenmemiş veri kullanılarak denetimsiz öğrenme ile oluşturulmuştur.
Yapı, üstel bir kayıp fonksiyonu ile gradyan-iniş tabanlı denetimli öğrenme aracılığıyla inşa edildi. İkinci olarak, eğitim verileri, etiketlenmesi gereken verileri belirlemek için yarı denetimli öğrenme ile aktif öğrenme uygulandı. Ardından ADN mimarisi, seçilen etiketli veriler ve tüm etiketlenmemiş verilerle eğitildi.
Beş duyarlılık sınıflandırma veri kümesi üzerinde yapılan deneyler, ADN’nin duyarlılık sınıflandırması için uygulanan yarı denetimli öğrenme algoritması ve derin öğrenme tekniklerinden daha iyi performans göstermiştir [3].

Tomas Mikolov ve meslektaşlarının word2vec yazılımı son teknoloji olarak aşırı ilgi gördü. Word2vec algoritması, geniş bir metin verisinden kelime ilişkilerini öğrenmek için bir sinir ağı modeli kullanmaktadır. Eğitildikten sonra model eş anlamlı kelimeleri tespit edebilir veya bir cümle için ek kelimeler önerebilir.
word2vec, adından da anlaşılacağı üzere her bir farklı kelimeyi vektör adı verilen belirli bir sayı listesi ile temsil eder.
Vektörler, basit bir matematiksel fonksiyon ile bu vektörler arasındaki anlamsal benzerliği gösterecek şekilde dikkatlice seçilir [4].

Marcelo Luiz Brocardo ve ekibi Derin İnanç Ağlarını kullanarak yazarlık doğrulama konusunu araştırmışlardır. Önerilen yaklaşım, bir Gauss-Bernoulli derin inanç ağı temelinde gerçek değerli verileri modellemek için görünür katmandaki Gauss birimlerini kullanır. Sözcüksel, sözdizimsel ve uygulamaya özgü özellikler elde edip, bu özellikleri tek bir özellikte birleştirmek için bir yöntem bulmuşlardır. Twitter ve Enron e-mail veri kümesi üzerinde test edilen bu model %8–16 arası hata oranlarıyla sonuç vermiştir.

Karpathy ve Fei Fei çalışmalarında, görüntülerin ve bölgelerin doğal dil tanımlarını oluşturan bir model sunmuşlardır.
Dil ve görsel veriler arasındaki yazışmaları öğrenmek için resimlerin veri kümelerini ve bunların cümle açıklamalarını kullanmışlardır.
Görüntü bölgeleri üzerinde CNN, cümleler yerine çift yönlü RNN kullanarak geliştirdikleri modeli, Flickr8K, Flickr30K ve MSCOCO veri kümelerinde kullanarak başarılı sonuçlar üretmişlerdir.

Görüntü/Video İşleme

Görüntü işlemede genelde ortak bir değerlendirme için MNIST veri seti kullanılmaktadır.
MNIST veri seti, 60.000’i eğitime 10.000’i teste ayrılan el yazısı rakamlarından oluşur. YSA’lardan istatiksel modellere kadar birçok yöntem bu veri seti üzerinde uygulanmıştır.
Ciresan 2012’de yaptığı çalışmada CNN kullanarak, en başarılı sonuca %0.23 hata oranı ile ulaşmıştır.
Ayrıca Cresan’ın ekibi, 2011 yılında ICDAR Çin el yazısı yarışması ve 2012'de ISBI resim bölümleme yarışması kazanmıştır.

Alex Krizhevsky, Geoffrey Hinton ve ekibi tarafından oluşturulan Benzer bir model, kanser tespiti için büyük medikal görüntülerin analizi konusundaki ICPR ve MICCAI yarışmalarını kazanmıştır.
Quoc V. Le çalışmasında, havuzlama, normalizasyon ve 9-katmanlı bir DAE ile internetten indirilen 10 milyon görüntü bulunan bir veri kümesini eğitmiştir. 1000 makine (16.000 çekirdek) ile oluşturulan bir paralel küme sayesinde eğitim 3 günde tamamlanmıştır.
Bu model sayesinde yüz etiketlemesi yapmadan yüz tanıma sistemi ve insan vücudu parçası da tanımlamak mümkün olmuştur.

Girshick ve ekibi, görüntüdeki nesneleri tanımlamak ve anlamsal segmentasyon yapmak için bölgeleri ve CNN modelini bir araya getirdikleri, R-CNN adı verilen algoritmayla başarılı sonuçlar elde etmişlerdir.

Clement Farabet çalışmasında, çoklu ölçekli CNN modelini önermiştir. Bu model, SIFT Flow, Barcelona, Stanford arka plan veri kümeleri üzerinde diğer yaklaşımlara göre çok daha hızlı ve başarılı sonuçlar üretmiştir.

Görün işleme konusunda çalışılan bir başka problemde trafikteki yayaların tespitidir. Bu konuda seyrek (sparse) CNN modeliyle geliştirilen denetimsiz öğrenme yöntemi rekabetçi sonuçlar vermiştir.

Biyomedikal Sinyal/Görüntü İşleme

Tıbbi görüntü analizi problemlerin çözümünde de oldukça etkilidir. Beyin tümörü araştırmalarında, görüntü segmentasyonuna ihtiyaç duyulmaktadır. Son yıllarda derin öğrenme yöntemleriyle başarılı bir şekilde otomatik segmentasyon yapılmaktadır. Beyin tümörü için otomatik MRI Segmentasyonu konusunda özellikle CNN tabanlı algoritmalar, nesnel yorumlar yapılmasına imkân sağlamıştır.

Zhang çalışmasında, meme kanseri klinik bilgisayar teşhisinde önemli bir parametre olan SWE (Share Wave Elastography) verisinden elde edilen görüntülerden iyi-kötü huylu tümörlerin tespiti için derin öğrenme modeli kurmuştur.
RBM ve PGBM (Point-Wise Gated Boltzmann Machine) ile 2 katmanlı oluşturulan model 227 SWE verisiyle eğitilmiş, %93.4 doğruluk göstermiştir.

Sun ve ekibi tarafından yapılan çalışmada, akciğer kanseri tespitinde otomatik çıkarılan özellikler kullanan model ile elle çıkarılan özellikleri kullanan CADx sistemi karşılaştırılmıştır. Derin öğrenme ağı CNN, DBN ve DAE olmak üzere 3 kanallı oluşturulmuştur. Sonuçlar AUC (Area Under Curve) değerine göre incelendiğinde CADx karşısında, CNN belirgin bir şekilde üstün çıkmış, DBN yakın ama üstün bir değer vermiş, DAE ise daha kötü sonuçlar göstermiştir.

Genetik bilgilerin açıklanması biyo-enformatik dalında önemli bir problemdir. Bu soruna çözüm olarak DAE tabanlı bir sistem önerilmiş ve standart makine öğrenmesi yöntemlerine göre daha iyi sonuçlar üretmiştir.

Türkiye’de de bu alanda birçok çalışma yapılmaktadır. Prof. Dr. Aydın AKAN sinyal işleme ve özellikle durağan olmayan sinyallerin analizi konusunda çalışmalar yapmakta, yeni sinyal işleme yöntem ve yaklaşımları geliştirmektedir. Bu yöntemlerin biyomedikal sinyal ve görüntülerin işlenmesi, çeşitli hastalıkların tanısı amacıyla karar destek sistemlerinde uygulanması için araştırmalarını sürdürmektedir.

Sinyal ve Görüntü İşleme laboratuvarında Matlab programı ile sinyal ve görüntü işleme uygulamaları yapılmaktadır.

Diğer Uygulamalar

Yukarıdaki bahsedilen çalışma alanları dışında çok geniş bir yelpazede derin öğrenme yöntemleri uygulanmaktadır.

Aktigrafi sensörleri, uyku ve fiziksel aktivite modellerini incelemek için kullanılan giyilebilir tıbbi cihazlardır. Aarti Sathyanarayana ve arkadaşları derin öğrenme modellerini (CNN, RNN, LSTM) kullanarak, uyanıklık dönemlerine ait giyilebilir verilere dayanarak uyku kalitesini (zayıf veya iyi uyku verimliliği) tahmin edebilen model geliştirdi. Daha spesifik olarak, derin öğrenme yöntemlerinden CNN, geleneksel lojistik regresyondan daha iyi performans gösterdi.

CRM (Müşteri İlişkileri Yönetimi) konusunda Derin Takviye Öğrenme (Deep Reinforcement Learning) yöntemi denenmiştir. RFM (güncellik-frekans-tutar) değişkenleri müşteri durumu alanlarındaki muhtemel pazarlama eylemlerinin değerini, yaklaşık olarak hesaplamak için YSA kullanılmıştır.

DARPA, NLP’nin gücünü kullanmak için Derin Araştırma ve Metin Filtreleme rogramını yaratmıştır. Bu yapay zekânın, büyük boyutlu belgeleri verimli bir şekilde araştırmalarını ve bu belgeler içinde örtülü olarak ifade edilen, aktivite içeren bilgileri keşfedebileceği (anormallik tespiti) açıklanmıştır.

Araç Otonom Sistemleri, multimedya yönetimi gibi konularda da derin öğrenme uygulanmaktadır. NVIDIA tarafından üretilen derin öğrenme kartları ve süper bilgisayarlar bu hedefler için çalıştırılmaktadır. Akıllı şehirlerin kurulmasında, akıllı trafik planlaması yine bunlardan biridir.

Ulaşım ağındaki doğrusal olmayan ve rastgele özelliklerin üstesinden gelmek için, Niu ve arkadaşları DeepSense adı verilen derin öğrenme modeli ile taksi GPS verileriyle eğitilerek trafik akış tahmini yapmışlardır. Önerilen model ile mevcut yöntemlere göre %5 iyileştirme sağlanmıştır.

Kim ve Chen, drone için otonom olarak iç mekânlarda dolaşabileceği ve tek bir kamera kullanarak belli bir hedefi ( örn, bir çantayı) bulabileceği düşünülen bir sistem önermiştir. Çalışmada, CNN algoritması ile uzman bir pilotun eylem seçimi taklit edilmiş, sistem performansı, çeşitli kapalı mekânlardaki gerçek zamanlı deneylerle gösterilmiştir.

Sinir ağları, istatistiksel veya yaklaşık problemleri çözmede hesaplamalar yapmaktan veya sembolik verilerle çalışmaktan daha iyi olduğu için bir üne sahiptir. Facebook AI Research, matematikte sembolik entegrasyon ve diferansiyel denklemleri çözme gibi daha ayrıntılı görevlerde şaşırtıcı derecede iyi olabileceklerini gösteren bir çalışma gerçekleştirdiler. Matematiksel problemleri temsil etmek için bir sözdizimi ve diziden diziye modelleri eğitmek için kullanılabilecek büyük veri kümeleri oluşturmak için yöntemler önerdiler. Matlab veya Mathematica gibi ticari Bilgisayar Cebir Sistemlerinden daha iyi performans gösteren sonuçlar elde ettiler [5].

Matthias Fey ve Jan Eric Lenssen, PyTorch Geometric ile Hızlı Grafik Öğrenme çalışmalarında, PyTorch üzerine inşa edilen grafikler, nokta bulutları ve manifoldlar gibi düzensiz yapılandırılmış giriş verileri üzerinde derin öğrenme için bir kitaplık olan PyTorch Geometric’i tanıttılar. Genel grafik veri yapılarına ve işleme yöntemlerine ek olarak, ilişkisel öğrenme ve 3B veri işleme alanlarından yakın zamanda yayınlanan çeşitli yöntemler içermektedir. PyTorch Geometric, seyrek GPU hızlandırmasından yararlanarak, özel CUDA çekirdekleri sağlayarak ve farklı boyuttaki giriş örnekleri için verimli mini toplu işleme sunarak yüksek veri çıkışı sağlar [6].

Sonuç:

Telefon, tablet, bilgisayarlar bağlı bir ağın özüdür. Görüntülerin, videoların ve sesin sosyal medyadaki alaka düzeyi, akış analizi ve web aramaları, bu özelliklerin para kazanıldığı yeni bir ekosistem yarattı. Bu tür karmaşık özelliklerin hesaplanması, derin öğrenme ağları hakkında bilgi sahibi olmanın yanı sıra, karmaşık algoritmalar kullanarak geliştirme becerisini gerektirir. Derin öğrenme teknikleri veya uygulamaları hakkında çalışma bilgisi, kullanıcıların bunu çeşitli amaçlar için uygulamalarına yardımcı olabilir.
Denetimsiz veriler söz konusu olduğunda, verilerin manuel olarak etiketlenmesi pahalı ve zaman alacağından, makine öğrenimi her zaman mümkün olmayabilir. Derin öğrenme ağları, bu sorunların üstesinden gelmeye yardımcı olmak için tasarlanmıştır.

Kaynaklar

[1]: https://research.google/teams/brain/

[2]: https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53

[3]: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.690.5790&rep=rep1&type=pdf

[4]: https://en.wikipedia.org/wiki/Word2vec

[4]: https://arxiv.org/pdf/1402.3722.pdf

[5]: https://arxiv.org/pdf/1912.01412v1.pdf

[6]: https://arxiv.org/abs/1903.02428v2

Long Short-Term Memory: https://tr.wikipedia.org/wiki/Long_short-term_memory

GAN: https://mc.ai/generative-adversarial-network/

RBM: https://www.researchgate.net/figure/The-basic-structure-of-restricted-Boltzmann-machine-RBM_fig2_327936128

DBN: http://www.ashokrahulgade.com/skills/DL/DBN/Introduction.html