GPT-4 Yeteneklerini ve Zekasını mı Kaybediyor?

GPT-4 piyasaya sürüldüğünde ne kadar etkileyici olsa da bazı kullanıcılar yapay zeka aracının doğruluğunun ve gücünün bir kısmını kaybettiğini gözlemledi. Bu gözlemler, OpenAI forumları da dahil olmak üzere birçok platformda paylaşılmaya başlandı.

ChatGPT ile alakalı bu düşünceler bir süredir ortalıkta dolaşıyordu. Kullanıcıların paylaşımlarıyla birlikte bu iddialar kanıtlanmış oldu. Stanford Üniversitesi ve UC Berkeley arasında yürütülen bir araştırma, GPT-4'ün yanıt verme yeterliliğini geliştirmediğini ve dil modelinde yapılan diğer güncellemelerle daha da kötüleştiğini öne sürüyor.

İlginizi Çekebilir: ChatGPT Hakkında Şaşırtan Gelişme! İşte Detaylar

ChatGPT'nin Davranışı Zaman İçinde Nasıl Değişti?

OpenAI, mart ve haziran ayları arasında GPT-4 ile önceki dil sürümü GPT-3.5’u daha kullanılabilir hale getirmeye başladı. Bunun için de iki sürüm arasında bazı testler yapıldı. İki model versiyonunu 500 problemlik bir veri seti ile test eden araştırmacılar, GPT-4'ün bazı güncellemelerden geçmesinin ardından mart ayında 488 doğru cevapla %97,6'lık bir doğruluk oranına ve haziran ayında ise %2,4'lük bir doğruluk oranına sahip olduğunu gözlemlediler. Model aylar sonra sadece 12 doğru cevap üretebildi.

Araştırmacılar tarafından yapılan başka bir testte, GPT-4'ün 17.077 asal bir sayı olup olmadığını sordukları bir düşünce zinciri tekniğiydi. Bu bir mantık sorusuydu. Araştırmacılara göre, GPT-4 sadece yanlış bir şekilde hayır cevabını vermekle kalmadı, bu sonuca nasıl vardığına dair hiçbir açıklama da yapmadı.

Yapay Zeka Artık Sorulara Doğru Cevap Veremiyor

Yapılan testler, bir OpenAI yöneticisinin GPT-4'ün aslında daha da aptallaştığına dair şüpheleri bastırmaya çalışmasından sadece altı gün sonra geldi. Yukarıdaki tweet, yanıtların kalitesindeki bozulmanın, yoğun bir kullanıcı olmaktan kaynaklanan psikolojik bir fenomen olduğunu ima ediyor.

Özellikle, GPT-4 şu anda ChatGPT Plus aracılığıyla geliştiriciler veya ücretli üyeler tarafından kullanılabiliyor. Aynı soru ChatGPT ücretsiz araştırma önizlemesi aracılığıyla GPT-3.5'e sorulduğunda yalnızca doğru yanıtı değil, aynı zamanda matematiksel sürecin ayrıntılı bir açıklamasını da sağlıyor.

Tüm bunlara ek olarak, LeetCode'daki geliştiriciler, mart ve haziran ayları arasında GPT-4'ün 50 kolay problemden oluşan veri kümesindeki performansının %52 doğruluktan %10 doğruluğa düştüğünü ortaya çıkardı.

GPT-4 ilk duyurulduğunda OpenAI, dil modelini altı ay boyunca eğitmek için Microsoft Azure AI süper bilgisayarlarını kullandığını ayrıntılı olarak açıklamıştı.  Şirket elde edilen sonucun "kullanıcı istemlerinden istenen bilgileri" üretme olasılığının %40 daha yüksek olduğunu iddia ediyordu.

Bununla birlikte, Twitter kullanıcısı @svpino, OpenAI'nin "büyük bir modele benzer şekilde hareket eden ancak çalıştırılması daha ucuz olan daha küçük ve özel GPT-4 modelleri" kullanıyor olabileceğine dair söylentiler olduğunu belirtti.

GPT-3.5 LLM'yi temel alan ChatGPT, 2021'den sonraki dünya olayları hakkında sınırlı bilgiye sahip olduğu için çokça eleştiriliyordu. Hatta bu durum yüzünden yapay zeka aracının yanlış bilgiler verdiği de söyleniyordu. Ancak bilgi gerilemesi, hizmette daha önce hiç görülmemiş tamamen yeni bir sorun gibi görünüyor. Kullanıcılar, kabul edilen sorunları çözmek için güncellemeleri dört gözle bekliyorlardı.

Tüm bu iddialar ve kanıtlarla ilgili olarak OpenAI’nin yapacağı açıklama ve atacağı adımlarsa merakla bekleniyor.