Kwantyzacja

Kwantyzacja to zapis wag modelu z mniejszą precyzją, na przykład w 8 lub 4 bitach zamiast 16. Zmniejsza ilość pamięci potrzebnej do przechowania modelu i może przyspieszyć inferencję. Ceną jest przybliżenie wartości liczbowych, które czasem pogarsza jakość odpowiedzi.

Jak działa kwantyzacja

Wagi sieci neuronowej są liczbami. Kwantyzacja przypisuje je do mniejszego zbioru możliwych wartości i zapisuje wraz z informacją potrzebną do odtworzenia ich przybliżeń. Często wykonuje się ją po treningu, bez ponownego uczenia całego modelu. Zysk szybkości zależy jednak od sprzętu, formatu wag i silnika uruchomieniowego. Mniejszy plik nie gwarantuje automatycznie krótszego czasu odpowiedzi.

Kiedy ma sens

Najczęściej stosuje się ją, gdy firma chce uruchomić model z otwartymi wagami na własnej stacji roboczej lub serwerze. Mniejsze wagi mogą zmieścić się w pamięci jednego urządzenia albo ograniczyć liczbę potrzebnych akceleratorów. Kwantyzacja nie zmienia liczby parametrów ani architektury modelu. Nie usuwa też kosztu pamięci związanego z kontekstem i aktywacjami, dlatego trzeba mierzyć cały proces.

Jak sprawdzić kompromis z jakością

Im niższa precyzja, tym większe ryzyko utraty informacji. Skala zmian zależy od modelu, metody kwantyzacji i rodzaju zadań. Przed wdrożeniem należy porównać wariant skwantyzowany z modelem bazowym na tych samych danych. Test powinien obejmować poprawność odpowiedzi, stabilność formatu, szybkość oraz zużycie pamięci.

Przykład dużego modelu

Opisany przez nas apex-flash-1 wymaga w wariancie BF16 około 640 GB pamięci GPU. Powstały społecznościowe porty czterobitowe, ale materiał nie przedstawia ich wyników ani porównania jakości z BF16. Samo udostępnienie mniejszego wariantu nie wystarcza więc do oceny jego przydatności.

Zobacz też: LLM, benchmark, destylacja modelu.