Son 6 ay boyunca ICRON bünyesinde yürüttüğüm yapay zekâ projesini tamamlarken, büyük dil modellerinin pratikte nasıl uyarlanabileceği üzerine odaklandım. Özellikle donanım kısıtları (GPU bulunmaması gibi) altında, modern yöntemlerin gerçekten ne ölçüde “erişilebilir” olduğunu test etmek istedim.
Bu
bağlamda, Hugging Face ekosisteminde yaygın olarak kullanılan **LoRA (Low-Rank
Adaptation)** yöntemini küçük bir dil modeli (distilgpt2) üzerinde, tamamen
**CPU ortamında** çalışacak şekilde uyguladım.
Bu
yaklaşımın temel fikri, büyük modelin tüm ağırlıklarını yeniden eğitmek yerine,
yalnızca çok küçük bir parametre altkümesini eğiterek davranış uyarlaması
yapmaktır. Benim deneyimde:
-
Modelin toplam parametrelerinin yalnızca yaklaşık %0.18’i eğitildi
-
Buna rağmen anlamlı bir çıktı üretimi elde edildi
-
Eğitim ve çıkarım süreçleri GPU olmadan, Windows ortamında
gerçekleştirildi
Bu
çalışma, büyük dil modelleriyle deney yapmak isteyen ancak donanım imkânları
sınırlı olan araştırmacılar ve geliştiriciler için pratik bir referans niteliği
taşıyor.
Kod
ve açıklamaları GitHub üzerinden paylaştım:
👉
https://github.com/arsaral/test_project_LoRA/tree/main/LoRA-HuggingFace
Bu
deneyimin, hem akademik hem de uygulamalı projelerde “büyük model” kavramının
daha erişilebilir hale gelmesine katkı sağlayacağını düşünüyorum.
