Yandex Araştırmaları, Yapay Zeka Dağıtım Maliyetlerini 8 Kata Kadar Azaltan Yeni LLM Sıkıştırma Yöntemleri Geliştirdi

Yandex Research, IST Austria, NeuralMagic ve KAUST iş birliğiyle geliştirilen yeni dil modeli (LLM) sıkıştırma yöntemleri AQLM ve PV-Tuning, yanıt kalitesini %95 oranında korurken model boyutunu 8 kata kadar azaltabiliyor. Bu yöntemler, ekipman maliyetlerini önemli ölçüde düşürerek yapay zeka dağıtımında devrim niteliğinde bir gelişme sağlıyor. Llama 2 13B gibi sıkıştırılmış modeller artık dört yerine tek bir GPU üzerinde çalışabiliyor. AQLM yöntemi, Uluslararası Makine Öğrenimi Konferansı'nda (ICML) sergilendi ve LLM teknolojisinde büyük bir ilerleme kaydedildi.

AQLM ve PV-Tuning'in Temel Özellikleri

AQLM (Dil Modelleri için Eklemeli Niceleme), bilgi erişiminde kullanılan eklemeli niceleme yöntemini LLM sıkıştırması için uyarlıyor. Bu yöntem, aşırı sıkıştırma altında model doğruluğunu koruyarak LLM'lerin ev bilgisayarları gibi günlük cihazlarda yaygınlaştırılmasını mümkün kılıyor. Bellek tüketiminde önemli bir azalma sağlıyor.

PV-Tuning, model sıkıştırma sırasında ortaya çıkabilecek hataları gideriyor. AQLM ve PV-Tuning birleştirildiğinde, sınırlı bilgi işlem kaynaklarında bile yüksek kalitede yanıtlar sağlayan kompakt modeller ortaya çıkıyor.

Yöntemlerin Değerlendirilmesi ve Tanınması

Bu yeni sıkıştırma yöntemlerinin etkinliği, LLama 2, Mistral ve Mixtral gibi popüler açık kaynaklı modeller üzerinde değerlendirildi. Araştırmacılar, sıkıştırılmış büyük dil modellerinin cevap kalitesini WikiText2 ve C4 gibi İngilizce karşılaştırma ölçütleriyle test etti. Modeller 8 kat sıkıştırılmalarına rağmen %95 oranında yanıt kalitesini korumayı başardı.

AQLM ve PV-Tuning'den Kimler Yararlanabilir?

Yeni yöntemler, hem tescilli hem de açık kaynaklı dil modellerini geliştiren ve dağıtan şirketler için önemli ölçüde kaynak tasarrufu sağlıyor. Örneğin, sıkıştırma sonrası 13 milyar parametreye sahip Llama 2 modeli, dört yerine sadece bir GPU üzerinde çalışarak donanım maliyetlerinde 8 kata kadar azalma sağlıyor. Bu da girişimlerin, bireysel araştırmacıların ve LLM meraklılarının gelişmiş LLM'leri günlük bilgisayarlarında çalıştırabilecekleri anlamına geliyor.

Yeni LLM Uygulamalarını Keşfetmek

AQLM ve PV-Tuning, sınırlı hesaplama kaynaklarına sahip cihazlarda çevrimdışı olarak kullanılabilen LLM uygulamaları sunuyor. Akıllı telefonlar, akıllı hoparlörler ve diğer cihazlarda entegre edilen bu gelişmiş LLM'ler, kullanıcıların metin ve görüntü oluşturma, sesli yardım, kişiselleştirilmiş öneriler ve gerçek zamanlı dil çevirisi gibi işlevleri aktif internet bağlantısı olmadan kullanabilmelerini sağlıyor. Ayrıca, bu sıkıştırılmış modeller daha az hesaplama gücü gerektirdiğinden 4 kata kadar daha hızlı çalışabiliyor.

Uygulama ve Erişim

Dünya genelindeki geliştiriciler ve araştırmacılar, GitHub'da bulunan AQLM ve PV-Tuning yöntemlerini kullanabiliyor. Sağlanan demo materyalleri, çeşitli uygulamalar için sıkıştırılmış LLM'leri etkili bir şekilde eğitmek için rehberlik sunuyor. Ayrıca geliştiriciler, bu yöntemler kullanılarak sıkıştırılmış popüler açık kaynaklı modelleri indirebiliyor.

ICML’de Öne Çıkan Çalışma

Yandex Research'ün AQLM sıkıştırma yöntemine ilişkin bilimsel makalesi, dünyanın en prestijli makine öğrenimi konferanslarından biri olan ICML'de yayınlandı. IST Austria'dan araştırmacılar ve yapay zeka girişimi Neural Magic'ten uzmanlarla birlikte hazırlanan bu çalışma, LLM sıkıştırma teknolojisinde önemli bir ilerlemeyi temsil ediyor.