Açık kaynaklı yapay zekâ modelleri, ilk bakışta uygun maliyetli bir seçenek gibi görünse de uzun vadede beklenenden daha pahalıya mal olabilir. Yeni bir araştırmaya göre, bu modeller aynı görevleri yerine getirirken kapalı kaynaklı modellere kıyasla daha fazla işlem gücü ve token tüketiyor. Yani başlangıçta cazip görünen maliyet avantajı, zamanla yerini artan giderlere bırakabiliyor.
Nous Research tarafından yayımlanan çalışmada Google ve OpenAI’ın kapalı modelleri ile DeepSeek ve Magistral’in açık kaynaklı modelleri dahil olmak üzere çok sayıda yapay zekâ sistemi test edildi. Modeller, basit bilgi soruları, matematik problemleri ve mantık bulmacaları gibi görevlerde kıyaslandı.
Açık modeller basit sorularda 10 kata kadar daha fazla token tüketiyor
Elde edilen sonuçlara göre, açık ağırlıklı modeller kapalı modellere göre 1,5 ila 4 kat daha fazla token kullanıyor. Basit bilgi sorularında bu fark 10 kata kadar çıkarken, matematik ve mantık sorularında daha düşük seviyelerde kaldı.
Araştırmacılar, token sayısının artmasının yalnızca maliyet değil, aynı zamanda yanıt sürelerini ve gecikmeyi de etkilediğini belirtiyor. Çalışmada, OpenAI ve Grok-4 gibi kapalı modellerin daha az token kullanacak şekilde optimize edildiği, açık modellerin ise bazı durumlarda daha fazla token kullanarak mantık yürütmeyi güçlendirmeyi hedeflediği ifade edildi. Açık kaynak modeller arasında llama-3.3-nemotron-super-49b-v1 en verimli seçenek olurken, Magistral modelleri en fazla kaynak tüketenler arasında yer aldı.
Araştırma, açık kaynaklı yapay zekâ modellerinin barındırma maliyeti düşük olsa da, fazla token kullanımı yüzünden toplam maliyetin yükselebileceğini ortaya koyuyor. Bu da şirketlerin model seçerken sadece lisans ücretine değil, aynı zamanda işlem verimliliğine de dikkat etmesi gerektiğini gösteriyor.
Kaynak: WEBTEKNO.COM