�ݺ�ߣ

fatih.kahraman@tubitak.gov.tr 1
TV YAYINLARI ÜZERİNDE GELİŞMİŞ VİDEO İÇERİK
ANALİZLERİ: SKAAS MEDYA VARLIK YÖNETİM
& ARŞİV SİSTEMİ
[ Advanced Video Content Analysis of TV Broadcast Stream:
SKAAS Media Asset Management System ]
Dr. Fatih KAHRAMAN
TÜBİTAK BİLGEM / Görüntü Kıymetlendirme ve Yayın Analiz Sistemleri Bölümü
fatih.kahraman@tubitak.gov.tr

Sunum İçeriği
 Hakkımızda
 Çalışma Alanları
 Teknolojiler
 Anahtar Kelimeler
 Medya – Büyük Veri – Yapay Zeka
 Yükselen/Güncel Teknolojiler
 Hyper Cyle 2017
 Makine Öğ��Գ��si (Uygulama Alanları)
 Derin Öğ��Գ��
 Geleneksel Yöntemler ve Yeni Yaklaşımlar
 Büyük Veri – Derin Öğ��Գ�� İlişkisi
 TV Yayınları Üzerinde Gelişmiş Video İçerik Analizleri
 SKAAS Medya Varlık Yönetim & Arşiv Sistemi
 Demo
 Soru-Cevap

Image
&
Video
Analysis
SAR/InSAR
Processing
Remote
Sensing
Big Data
Analysis
&
Crowd-
sourcing
Multispectral
Electro-optic
Data Analysis
Machine
Learning &
Pattern
Recognition
Geographic
Information
System
Software
Development
TV Broadcast
Stream &
Video
Analysis
Artificial
Intelligence
Object
Detection,
Recognition
& Tracking
Large Scale
Video
Analysis and
Search
Earth
Observation
& Remote
Sensing
Face
Recognition
Disaster
Monitoring
Image &
Video
Forensics
Anomaly
Detection
and
Surveillance
for Wide
Area
Underlying
Technologies
Fields of
Interest
Image Exploitation & Broadcast
Systems Department
About Us

Yapay Zeka
 Deep Learning
 Theano
 TensorFlow
 Keras
 CuDNN
 Caffe
 DeepLearning4J
 Cuda
 Torch
 K80/Titan/P100/V100..
Anahtar Kelimeler
5
Veri Analitiği
Teknolojileri
 Spark
 Hadoop
 Cassandra
 Solr
 Kafka
 Slurm
 ..
Görüntü
Kıymetlendirme
 Görüntü İşleme
 Bilgisayarla Görü
 CPU/GPU
 Video Analiz
 Uzaktan Algılama
 SAR/InSAR
 EO/KÖ İşleme
Yazılım
Teknolojileri
 C++, Java, Python,…
 Docker
 Kubernetes
 Openshift, heroku,
Openstack, …
Bulut
Teknolojileri
 Amazon AWS
 Azure
 Google Cloud
 …
Proje Yönetimi
 PMI
 Agile, Scrum, Kanban
 SVN, Git
 Konfigürasyon Yönetimi
 Kalite/Süreç Yönetimi

 Hyper Cycle 2017:
# Gartner Teknoloji ilerleme Döngüsü
1 Teknolojik Tetikleme
2 Beklentilerin Tepe Noktası
3 Hayal Kırıklığı Oyuğu
4 Aydınlanma Eğimi
5 Verimlilik Platosu
Yükselen Teknolojiler
1 2 3 4 5
Machine Learning

Makine Öğ��Գ��si
 Makine Öğ��Գ��si ile Neler Yapılabilir?
Girdi Cevap Uygulama
Görüntü İnsan Yüzü Var mı? (0 veya 1) Görüntü etiketleme
Kredi Uygulaması Krediyi Geri Ödeyecek mi? (0 veya 1) Kredi Onayı
Reklam Kullanıcı Bilgisi Kullanıcı Reklama Tıklayacak mı?
(0 veya 1)
Kişiye Uygun Reklamlar
Ses Klipi Ses Klipinin Metinleştirilmesi Konuşma Tanıma
İngilizce Cümle Fransızca Cümle Dil Çevirimi
Sensor (Harddisk, Uçak
Motoru)
Bozulmak Üzere mi? Önleyici Bakım
Araç Kamerası ve Diğer
Sensörler
Diğer Araçların Pozisyonları Otonom Araçlar

Makine Öğ��Գ��si
 Derin Öğ��Գ��
 Derin öğrenme, makinelerin dünyayı algılama ve
anlamasına yönelik yapay zekâ geliştirmede en
popüler yaklaşımdır.
 Bugün, en önemli araştırma kuruluşlarının yanısıra
dünyanın en büyük internet şirketlerinin bazıları araştırma
ve ürünlerinde derin öğrenme kullanmak için GPU’ları
kullanmaktadır.

 Büyük Veri ve HPC
Bugün, en önemli araştırma kuruluşlarının yanı sıra
dünyanın en büyük internet şirketlerinin bazıları araştırma ve
ürünlerinde derin öğrenme kullanmak için GPU’ları
kullanmaktadır.
Derin Öğ��Գ��

 Geleneksel Makine Öğ��Գ��si vs. Derin Öğ��Գ��:
 Model öznitelikleri kendisi öğreniyor
 Makine öğrenmesindeki gibi matematiksel modele dayalı
öznitelik çıkarımına gerek yok.
Girdi Veri Öznitelik
Mühendisliği
Girdi Veri
Algoritması
Geleneksel Makine Öğ��Գ��si
Geleneksel
Öğ��Գ��
Algoritması
Büyük Veriye İhtiyaç Var !

 Derin sinir ağları da insan beyni gibi belli bir katmaların hiyerarşisinden oluşuyor.
 Her bir katman girdi verisini başka bir öznitelik şekline dönüştürmekte
(çizgi - göz - yüz gibi).
 Son katmanda tüm bu öznitelikleri birleştirerek tahmin yapmaktadır
 Neden Bu Kadar Popüler Oldu?
 Hesaplama Kapasitesindeki Artış
 Büyük Veriye Ulaşım
 Algoritmik İyileştirmeler
 Daha Hızlı Eğitim

 Temel Kullanım Alanları:
 Bilgisayarlı Görü
 Konuşma/Ses İşleme
 Doğal Dil İşleme
 Siber Güvenlik
 Tavsiye Sistemleri
 Otonom Sistemler
 Sağlık Alanında Uygulamalar
 Finans Alanında Uygulamalar
 Temel Gereksinimler:
 İyi kalitede geniş çapta ve etiketlenmiş veri kümesi.
 Yeteri kadar hesaplama gücü.
• Özellikle, Graphical Processing Unit (GPU).
 Ölçülebilir, tarif edilebilir amaçların tanımlanması.

TV YAYINLARI ÜZERİNDE GELİŞMİŞ VİDEO İÇERİK
ANALİZLERİ: SKAAS MEDYA VARLIK YÖNETİM
& ARŞİV SİSTEMİ
[ Advanced Video Content Analysis of TV Broadcast Stream:
SKAAS Media Asset Management System ]

SKAAS Nedir?
SAYISAL KAYIT, ARŞİV VE ANALİZ SİSTEMİ YENİLEME PROJESİ
• RTÜK’ün ihtiyaçları doğrultusunda 500 TV Kanalı ve 150 Radyo Kanallarından
gelen Ses/Görüntü verilerinin analizini yapan verileri arşivleyen sistemlerin
geliştirilmesi.
• Yerel yayın alış sistemi yazılım ve donanımlarının tasarım ve üretimi.
• Depolama ve ağ yönetim kapasitesinin yükseltilmesi.
• Gelişmiş Analiz İşlevlerinin Geliştirilmesi
Satellite ● Cable ● Terrestrial
● IPTV
Canlı Yayın
»DEPO
»

Tarihçe
SKAAS-I
2006
• Ulusal TV ve Radyo
Kanalları
• 110 uydu, kablo ve
karasal TV kanalı
SKAAS-II
2009
• Yerel TV ve Radyo
Kanalları
• 200 yerel kanalı
• Haberleşme hatları ile
yerel yayınları RTUK
merkez sistemine kayıt
• İzleme ve analiz
SKAAS-III
2014
• Yenileme ve Modernizasyon
• Yayın alış sisteminin yenilenmesi
• Arşiv kapasitesinin arttırılması
• 500 TV kanalı
• HDTV ve IPTV yayınları alabilme ve analiz
• Merkezi kod-çevrim sistemi
• Yerel Yayın Alış Sisteminin Geliştirilmesi
• Gelişmiş Analiz Algoritmaları
• Dağıtık ve Ölçeklenebilir Mimari
3PB veri depolama

SKAAS-III
18
 TÜBİTAK’ta geliştirilen donanım ile, Türkiye
sathına dağılmış 130 yerel yayıncı yayınlarını,
işleme ve saklama kapasitesi

Görüntü Analiz İşlevlerimiz
• Video Metin Okuma
• Video Klip/Kopya Yakalama
• Video Reklam Analizi
• Video Anahtar Kare Yakalama
• Radyo Reklam Analizi
• Anahtar Kelime Yakalama
• Ses Seviye/Gürlük Analizi
Yüksek başarımlı dağıtık hesaplama
sistemi üzerinde çalışan; görüntü ve ses
analizlerinin tanımlandığı, takibini ve
yönetimin yapıldığı; analiz sonuçlarının
kayıt altına alındığı ve raporlandığı alt
sistemdir.

SKAAS MVY - MAM
20
Arşivlenen veya canlı yayımlanan ses ve görüntü verilerine ulaşmak ve
izlemek, bu veriler için raporlar düzenlemek, bir süreç içerisinde yönetmek
ve iş paylaşımı yapmak için kullanılan; uluslararası Media Asset
Management (MAM) uygulamaları ile rekabet edebilecek standartlarda
geliştirilmiş bir çözümdür.
 Manuel ve görsel analiz araçları
 Güçlü raporlama araçları
 Medya varlık yönetimi
 İş/görev akışları ve takibi

SKAAS Yayın Alış Sistemi
21
 SKAAS Yayın Alış Sistemi
Uydu, karasal, platform, IP TV ortamlarından TV ve Radyo yayınlarının
alındığı, cihazların konfigürasyonunu, takibi ve yönetiminin yapıldığı;
alınan yayınların kod çevrime tabi tutularak hiyerarşik olarak arşivlendiği
alt sistemdir.

SKAAS Ön İzleme Ekranları
22
 Geliştirilen Ön İzleme Sistemi ile yayınlar
7/24 izlenebilmekte ve anında müdahale
edilmektedir.

SKAAS Ö��
23
Geliştirilen yönetim yazılımları ile tüm donanımlar merkezi
bir arayüz üzerinden izlenebilmekte ve yönetilebilmektedir.
 Uydu Sistemleri
 Yayın Alış Sistemi
 Kod Çevrim Sistemi
 Yayın Alış ve Kayıt
Sistemi

SKAAS Ö��
24
 Geliştirilen Medya Varlık Yönetimi Yazılımı ile;
 Yayınlar izlenebilmektedir.
 Arşive erişilebilmektedir.
 İstenen yayınlar için raporlar oluşturulabilmektedir
 Sistemden yayın alınabilmekte veya sisteme yayın eklenebilmektedir.

SKAAS Ö��
25
 Geliştirilen analiz sistemi ile;
 Video klip arama yapılabilmektedir.
 Reklam analizi yapılabilmektedir.
 Video üzerinden metin okuma yapılabilmektedir.
 Ses seviyesi analizi yapılabilmektedir.
 Ses verisi üzerinde kelime veya kelime grupları
aranabilmektedir.

SKAAS Dağıtık Çalışma Mimarisi
30
 Analiz sisteminden gelen işler, dağıtık altyapı üzerinde çalıştırılmakta,
 Gelen işler, oluşturulan farklı sunucu alt havuzlarına yönlendirilmektedir,
 İş emirleri, öncelik sırasına göre gerçekleştirilmektedir.
Dağıtık Çalışma Mimarisi
. . .
İş-1 (VKY) İş-2 (SSA) İş-3 (VPA) İş-4 (VÇA)
• 3 PB üzerinde depolama alanı
• 10 Gb band genişliğinde ağ altyapısı
• Sanallaştırma teknolojileri
• Güçlü altyapı izleme araçları

SKAAS Projeleri Ö��

SKAAS-IV İşlevleri
32
Deşifre - Gerçek Zamanlı Yazılandırma Modülü
 Konuşmacı Ayrıştırma ve Takip
• Çoklu Konuşmacı Ayrıştırma ve Yazılandırma (Konuşmacı1, Konuşmacı2 vb.)
 Konuşmacı Tanıma
• Seçim Döneminde Kemal KILIÇDAROĞLU toplam 2412 dk. konuştu
 Sahne Bazlı Metadata (Üstveri) Oluşturma

TV Yayınlarında Yüz Tanıma ve İzleme Modülü
 Arşiv Verileri Üzerinde Sahne Bazlı Yüz Tanıma ve İzleme
 Metadata (üstveri) Oluşturma
 Yapay Zeka Tabanlı Öğrenen Yüz Tanıma Modelleri
 Gerçek Zamanlı Yüz Saptama ve Tanıma
Yüz Tanıma Sonucu Rank#1 :
Recep Tayyip ERDOĞAN, Angela
MERKEL ve Barack OBAMA’nın yer aldığı
sahneleri getir
Video Dosyasında Sahne Bazlı
Yüz Tanıma ve Takibi Sonucu:
Sahne 1: Fatih KAHRAMAN ve
Muhammed Said AYDEMİR

TV Yayınlarında Yüz Tanıma/İzleme ve Sahne Bazlı
Üstveri Üretme Modülü (~50 fps on Laptop)

Nesne Tanıma Modülü
 Sahnelerdeki Nesneleri Tanıma ve Metaveri Oluşturma
Sahnedeki Tüm Nesnelerin Tanınması ve İlgili Üstverilerin Anahtar Kare ile İlişkilendirilmesi:
İnsan, Masa, Sandalye, Kitap, Bıçak, Bardak, Saksı,..

Pornografi-Sansür Filtreleri
 Yayınlardaki +18 Görüntüleri Saptama
 Nudity/Pornography Olasılığı Kestirimi
 Akan Video Üzerinde Gerçek Zamanlı Çıplaklık (Nudity)
 +18 Görsel Saptama

Görsel Sahne Anlamlandırma (devam eden çalışma)
 İnsan İfadesine Yakın Sahne/Olay Tanıma/Anlamlandırma
 Görüntüdeki Önemli Yerleri/Şehirlerin Tanınması
 Semantik Arama için Görüntüden Gelişmiş Metadata (üstveri)
Oluşturma
Sahne Tanıma Sonucu:
Çim sahada futbol oynayan
çocuklar
Ofis ortamında toplantı yapan
insanlar
İstanbul Boğazının gece
görünümü – (Yer: İstanbul)

TEŞEKKÜRLER
Dr. Fatih KAHRAMAN
Chief Researcher / Department Manager
Başuzman Araştırmacı / Bölüm Sorumlusu
TÜBİTAK BİLGEM BTE PK.74 Gebze-Kocaeli
+90-262-6753172

�ݺ�ߣ

Dr. Fatih Kahraman - Yayıncılıkta Büyük Veri

More Related Content

Dr. Fatih Kahraman - Yayıncılıkta Büyük Veri