Google, AI Süper Bilgisayarı İçin Daha Hızlı ve Daha Çevreci Olduğu İddiasında Bulundu

Alphabet Inc'in (GOOGL.O) Google, yapay zeka modellerini eğitmek için kullandığı süper bilgisayarlar hakkında yeni ayrıntıları yayınladı. Sistemlerin Nvidia Corp'un (NVDA) benzer sistemlerinden hem daha hızlı hem de daha fazla güç verimli olduğunu belirtti. Google, Tensör İşleme Birimi veya TPU adı verilen kendi özel çipini tasarladı. Bu çipler; şirketin yapay zeka eğitimlerinde kullanılıyor. Aynı zamanda sorgularda insan benzeri metinlerle yanıt verme ve görüntü oluşturma gibi görevlerde de kullanışlı hale geliyor. Modeller aracılığıyla veri besleme süreci üzerindeki çalışmaların %90'ından fazlası kullanıyor. İlginizi Çekebilir:

PaLM Dil Modeli 4000 Çipli Süper Bilgisayarlardan İkisine Bölünerek Eğitildi

Google TPU artık dördüncü neslinde denilebilir. Salı günü Google; bireysel makinelerin bağlanmasına yardımcı olmak için kendi özel olarak geliştirilmiş optik anahtarlarını kullanarak 4.000'den fazla çipi bir süper bilgisayara nasıl dizdiğini ayrıntılarıyla anlatan bilimsel bir makale yayımladı. Google'ın Bard'ı veya OpenAI'nin ChatGPT'si gibi teknolojilere güç sağlayan sözde büyük dil modelleri boyut olarak sınırları aştılar. Özetle; tek bir çipte depolanamayacak kadar büyükler. Modelleri eğitmek için uzun süre birlikte çalışması gereken binlerce yongaya bölünmesi gerekiyor. Google'ın bugüne kadarki en büyük kamuya açıklanmış dil modeli olan PaLM modeli, 50 gün boyunca 4.000 çipli süper bilgisayardan ikisine bölünerek eğitildi. Dünya devi arama motoru, süper bilgisayarlarının anında çipler arasındaki bağlantıları yeniden yapılandırmayı kolaylaştırıyor. Sorunların önlenmesine ve performans kazanımları için ince ayar yapılmasına da yardımcı olduğu belirtildi. Google Üyesi Norm Jouppi ve Google Seçkin Mühendisi David Patterson, sistem hakkında bir blog gönderisi yayınladı. "Devre değiştirme, arızalı bileşenlerin etrafından dolaşmayı kolaylaştırır" diye yazdı. "Bu esneklik, bir ML (makine öğrenimi) modelinin performansını hızlandırmak için süper bilgisayar ara bağlantısının topolojisini değiştirmemize bile izin veriyor." Şirket, süper bilgisayarıyla ilgili ayrıntıları daha yeni yayınlıyor olsa da 2020'den beri Oklahoma, Mayes County'deki bir veri merkezinde şirket çevrimiçi durumdadır. Google, Midjourney girişiminin birkaç kelimelik metinle beslendikten sonra yeni görüntüler oluşturan modelini eğitmek için sistemi kullandığını belirtti. Google, karşılaştırılabilir boyuttaki sistemler için yongalarının dördüncü nesil TPU ile aynı zamanda piyasada bulunan Nvidia'nın A100 yongasına dayalı bir sistemden oluştuğu iddia ediliyor. Bu sistemin 1,7 kat daha hızlı ve 1,9 kat daha fazla güç verimli olduğu varsayılıyor. Google, dördüncü neslini Nvidia'nın mevcut amiral gemisi H100 yongasıyla karşılaştırmadığını çünkü H100'ün Google'ın yongasından sonra piyasaya çıktığını ve daha yeni teknolojiyle yapıldığını belirtiyor. Google, Nvidia H100 ile rekabet edecek yeni bir TPU üzerinde çalışıyor olabileceğini ima etti, ancak ayrıntı vermedi ve Jouppi, Reuters'e Google'ın "gelecekteki yongalardan oluşan sağlıklı bir boru hattına" sahip olduğunu söyledi.