Apple ve Columbia Üniversitesi, görme engelli bireylerin sokakları daha güvenli ve bağımsız şekilde keşfetmesine yardımcı olacak yapay zekâ destekli yeni bir sistem geliştirdi. Henüz araştırma aşamasında olan SceneScout isimli prototip, Apple Haritalar verilerini kullanarak sokak görünümlerini betimleyebiliyor.
SceneScout, görme engelli veya az gören kişilerin bilmedikleri bir çevrede yolculuk etmeye karar verirken karşılaştıkları belirsizlikleri azaltmayı amaçlıyor. Geleneksel araçların çoğu anlık yönlendirmeler sunarken, bu yeni sistem kullanıcıların seyahatten önce çevre hakkında daha fazla bilgi edinmesini sağlıyor.
Görsel verileri metne dönüştürüyor
Kullanıcılar, bir güzergâh boyunca karşılarına çıkabilecek detayları veya belirli bir bölgedeki ortamı sanal olarak keşfedebiliyor. Geliştirilen sistem iki farklı kullanım moduna sahip. Rota Önizleme modunda kullanıcılar, kaldırım durumu, kavşak yapıları ve otobüs durakları gibi bilgileri rotaya başlamadan önce görebiliyor. Sanal Keşif modunda ise kullanıcılar kendi ilgi alanlarına göre bir çevre tanımı yapabiliyor ve sistem, bu doğrultuda sokakları tarif ederek yönlendirme sunuyor.
SceneScout, Apple Haritalar’dan elde edilen panoramik görüntülerle çalışan GPT-4o tabanlı bir yapay zekâ modeliyle destekleniyor. Görsel verileri analiz eden sistem, bunları kısa, orta veya uzun açıklamalar hâlinde metne çeviriyor. Web arayüzü, ekran okuyucu teknolojilerine uygun olarak tasarlanmış durumda.
Yapılan ilk testlerde sistem, ekran okuyucu kullanımında deneyimli 10 görme engelli kişi tarafından denendi. Katılımcılar, özellikle Sanal Keşif modunu faydalı bulduklarını belirtti. Ancak test sonuçları, sistemin hâlâ bazı eksiklikler taşıdığını da ortaya koydu. Üretilen açıklamaların yaklaşık %72’si doğruyken, bazı betimlemelerde hatalı bilgiler yer aldı. Örneğin, sesli sinyal bulunmayan bir geçitte bu özelliğin var olduğu belirtildi ya da bazı sokak tabelaları yanlış tanımlandı.
Kaynak: WEBTEKNO.COM