1. Gün

• Pekiştirmeli Öğrenme ve Temel Kavramlar

  • Pekiştirmeli öğrenme (Reinforcement Learning - RL) nedir?

  • Markov Karar Süreçleri (MDP): Durumlar, eylemler, geçiş olasılıkları ve ödül fonksiyonları.

  • GYM yapısı

  • Uygulama: Bir savunma senaryosunda bir İHA’nın ödül fonksiyonunun ve eylem alanının tanımlanması.

• Dinamik Programlama (Dynamic Programming)

  • Politika iterasyonu ve değer iterasyonu yöntemleri.

  • Dinamik programlama ve tablo bazlı yöntemlerin savunma sanayinde uygulanması.

  • Uygulama: Bir radar sisteminde tehdit önceliklendirme için değer iterasyonu algoritması uygulama.

• Q-Öğrenme (Q-Learning) ve SARSA Algoritmaları

  • Q-öğrenmenin temel prensipleri: Q-tablosu oluşturma ve güncelleme.

  • SARSA Algoritması

  • Epsilon-greedy ve diğer keşif stratejileri.

  • Uygulama: Otonom bir sistemde optimal rota bulma için Q-öğrenme algoritması uygulama.

• Model-Free vs Model-Based Yöntemler

  • Model tabanlı ve model tabansız öğrenme yöntemlerinin karşılaştırılması.

  • Model tabansız Q-öğrenme algoritmalarının savunma projelerindeki kullanımı.

  • Uygulama: Bir lojistik operasyonunda dinamik rota planlaması için model tabansız bir algoritma geliştirme.

2. Gün

• Çevrimiçi ve Çevrimdışı Öğrenme Teknikleri

  • Çevrimdışı öğrenme senaryoları ve veriyle öğrenme.

  • Çevrimiçi öğrenme: Gerçek zamanlı veriyle sistem optimizasyonu.

  • Uygulama: Tehdit algılama sistemlerinde gerçek zamanlı öğrenme uygulaması geliştirme.

• Performans Analizi ve Optimizasyon Teknikleri

  • Pekiştirmeli öğrenmede başarı ölçütleri: Ödül, öğrenme hızı ve doğruluk.

  • Hiperparametre optimizasyonu: Öğrenme oranı, gamma ve epsilon stratejileri.

  • Uygulama: Bir savunma sisteminde Q-öğrenme modelinin hiperparametre optimizasyonu.

• Mini Projeler

  • İHA rotası için Q-öğrenme tabanlı bir optimal politika geliştirme.

  • Dinamik programlama ile bir tehdit değerlendirme sistemi oluşturma.

  • Çevrimiçi öğrenme stratejisi kullanarak bir radar izleme sistemi tasarlama.