Huawei’nin Zürih’teki Bilgisayar Sistemleri Laboratuvarı, büyük dil modellerinin (LLM) donanım ihtiyacını dramatik biçimde azaltan SINQ (Sinkhorn-Normalized Quantization) adlı yeni bir teknik geliştirdi. Bu sayede dev yapay zekâ modelleri, artık on binlerce dolarlık profesyonel GPU’lara ihtiyaç duymadan, RTX 4090 gibi tüketici sınıfı ekran kartlarında çalıştırılabilecek.
Bellek ihtiyacında %70’e varan tasarruf
Bugüne kadar GPT benzeri dev modelleri çalıştırmak için NVIDIA A100 ya da H100 gibi kurumsal GPU’lar şarttı. SINQ, model kalitesinden ödün vermeden bellek tüketimini %60–70 oranında azaltabiliyor. Örneğin daha önce 60 GB bellek isteyen bir model, artık yalnızca 20 GB kapasiteyle çalışabiliyor. Bu da binlerce dolarlık donanım maliyetini birkaç yüz veya bin dolar seviyesine çekiyor.
Teknik yenilik: Çift eksenli ölçekleme ve Sinkhorn normalizasyonu
Nicemleme (quantization) uzun süredir bilinen bir yöntem olsa da, kalite kaybı riski nedeniyle yaygınlaşamamıştı. Huawei’nin SINQ yaklaşımı iki kilit yenilikle fark yaratıyor:
Çift Eksenli Ölçekleme: Matrislerde satır ve sütunlar için ayrı ölçekleme vektörleri kullanarak hata dağılımını daha dengeli hale getiriyor.
Sinkhorn-Knopp Tarzı Normalizasyon: Matris dengesizliğini minimize ederek performans kaybını önlüyor.
Bu sayede SINQ, rakiplerinden 2 ila 30 kat daha hızlı nicemleme yapabiliyor; hem araştırma hem de üretim ortamlarında ciddi zaman kazancı sağlıyor.
Bulut maliyetleri de düşecek
A100 tabanlı sunucular saatlik 3–4,5 dolar maliyet çıkarırken, RTX 4090 tabanlı örnekler saatte 1–1,5 dolar seviyesinde. SINQ ile büyük dil modellerinin bulutta çalıştırılması da çok daha ucuz hale gelecek; uzun vadede on binlerce dolarlık tasarruf mümkün olacak.
Yapay zekânın demokratikleşmesine dev katkı
Huawei, SINQ’yu Apache 2.0 lisansı altında Github ve Hugging Face üzerinde açık kaynak olarak paylaştı. Bu hamle; küçük yazılım ekiplerinin, bağımsız araştırmacıların ve kişisel bilgisayar sahiplerinin bile gelişmiş LLM’leri kolayca çalıştırabilmesini sağlayarak yapay zekâ erişimini demokratikleştiriyor.
