San Antonio’daki Texas Üniversitesi’nde gerçekleştirilen bir araştırma, kullanıcı tarafından yazılan metinlere erişebilmek için “video yakalama donanımının” kullanıldığını ortaya çıkardı. Bu yöntemde kullanıcı tarafından yazılan metnin ne olduğunu ortaya çıkarmak için “kaydedilen tüm karelerde” gözlemlenebilir üst vücut hareketlerinin analizi yapılıyor
Araştırma, San Antonio’daki Texas Üniversitesi’nden Mohd Sabra ve Murtuza Jadliwala ve Oklahoma Üniversitesi’nden Anindya Maiti tarafından gerçekleştirildi. Araştırmacılar bir web kamerasının görüş alanının, hedef kullanıcının görünür üst vücut hareketlerini yakaladığı sürece saldırının canlı video yayınlarının ötesine geçerek YouTube ve Twitch’teki yayınlara kadar genişletilebileceğini belirtiyor.
Birçok Elektronik Cihazda Video Yakalama Donanımı Mevcut
Araştırmacılar, akıllı telefonlar, tabletler ve dizüstü bilgisayarlar gibi birçok elektronik cihazda bulunan video yakalama donanımının son dönemde yaygınlaşmasıyla, görsel kanallardan bilgi sızıntısı tehdidinin arttığını düşünüyor. Araştırmacılara göre rakip tarafın amacı, hedef kullanıcı tarafından yazılan özel metnin ne olduğunu çıkarmak için “kaydedilen tüm karelerde” gözlemlenebilir üst vücut hareketlerini kullanmak.
Nasıl Yapıyorlar?
Bunu başarmak için, kaydedilen video, üç aşamalı bir video tabanlı tuş vuruşu çıkarım çerçevesine ekleniyor.
- Üç aşamadan oluşan bu işlemin ilk aşaması “arka planın kaldırıldığı” ön işleme aşaması. Burada video gri tonlamaya dönüştürülüyor, ardından sol ve sağ kol bölgeleri, kişinin FaceBoxes olarak adlandırılan bir modelle tespit edilen yüzüne göre bölümlere ayrılıyor.
- İkinci aşama ise tuş vuruşlarının algılandığı aşama. Burada sol ve sağ taraftaki video segmentlerinin her birinde ardışık kareler arasındaki vücut hareketlerini ölçmek ve tuş vuruşlarının meydana geldiği potansiyel kareleri belirlemek amacıyla Yapısal Benzerlik Endeksi ölçümünü (SSIM) hesaplamak için bölünmüş kol kareleri çıkarılıyor.
- Kelime tahmini adı verilen son aşamada ise tuş vuruşu çerçeve segmentleri, tespit edilen her tuş vuruşundan önce ve sonraki hareket özelliklerini tespit etmek için kullanılıyor. Sözlük tabanlı bir tahmin algoritması vasıtasıyla da belirli kelimeler tahmin ediliyor.
Başka bir deyişle, tespit edilen tuş vuruşları havuzundan, tuş vuruşlarının sayısının yanı sıra, birbiri ardına gelen tuş vuruşları arasında meydana gelen kol yer değiştirmesinin boyutu ve yönü kullanılarak kelime tahmini çıkarılıyor.
Bu yer değiştirme, kronolojik tuş vuruşu çerçeveleri boyunca omuz ve kol hareketlerini izlemek için kullanılan Sparse optik akış adı verilen bir bilgisayarlı görüş takip tekniği kullanılarak ölçülüyor.
İki Parmak Klavye Kullananlar ve Kolsuz Kıyafet Giyenler Saldırılara Daha Elverişli
Araştırmacılar, 20 katılımcı (9 kadın, 11 erkek) ile uygulamayı test ettiler. Katılımcılar arasında iki parmak daktilo yöntemini kullananların yanı sıra klavyeye bakmadan yazma yöntemini kullananlar da yer aldı. Ayrıca katılımcılar arasında farklı webcam modelleri ve kıyafetler (uzun kollu-kısa kollu), klavyeler hatta Zoom, Hangouts ve Skype gibi farklı yazılımlar kullanan katılımcılar olmasına dikkat edildi.
Çalışmadan çıkan sonuçlar, iki parmak daktilo kullananların ve kolsuz kıyafet giyenlerin, kelime çıkarım saldırılarına daha elverişli olduğunu ortaya koydu. Aynı şekilde Logitech web kamerası kullanıcılarının yazdıklarının Anivia marka harici web kamerası kullananlara göre daha kolay tespit edilebileceği de ortaya çıktı.
Saldırıları Atlatabilmek İçin Nasıl Önlemler Alabilirsiniz?
Araştırmacılar, görüntüyü bulanıklaştırma, pikselleştirme ve çerçeve atlamanın bu tür saldırılara karşı etkili bir savunma aracı olabileceğini belirtiyor.
Uzmanlar, dünyayı saran korona salgını dolayısıyla görüntülü aramaların hem kişisel hem de profesyonel anlamda yeni ve yaygın bir uzaktan iletişim metodu haline geldiğini belirterek uyarıyor: “Bir video görüşmesine katılan bir katılımcı dikkatli değilse, özel bilgilerini görüntülü arama sırasında başkalarına ifşa edebilir.”
İlk yorum yapan olun