Destylacja modelu

Destylacja modelu to trenowanie mniejszego modelu, zwanego uczniem, na odpowiedziach większego modelu nauczyciela. Celem jest zachowanie wybranych umiejętności przy niższym koszcie działania. Uczeń nie staje się pełną kopią LLM: zwykle obsługuje węższy, z góry określony zakres zadań.

Jak przebiega destylacja

Twórca układa prompty reprezentujące zadanie, zbiera odpowiedzi nauczyciela i kontroluje ich jakość. Na tym zbiorze trenuje ucznia, a potem porównuje oba modele na oddzielnych danych, których uczeń nie widział w treningu.

• Zbiór powinien obejmować typowe przypadki, wyjątki i błędne wejścia.
• Ocena powinna dotyczyć zastosowania docelowego, a nie wyłącznie ogólnego wyniku.
• Oszczędność na inferencji należy zestawić z kosztem generowania danych i treningu.

Destylacja, fine-tuning i kwantyzacja

Destylację można wykonać przez fine-tuning ucznia, ale pojęcia nie są synonimami. Fine-tuning dostosowuje model do zadania, domeny lub stylu. W destylacji dane pochodzą od nauczyciela i mają przenieść część jego zachowania do mniejszego modelu.

Kwantyzacja nie uczy na odpowiedziach. Zmniejsza precyzję zapisu wag, aby ograniczyć zużycie pamięci i przyspieszyć działanie. Wydestylowanego ucznia można później skwantyzować.

Licencje i spory o dane

Gdy odpowiedzi pochodzą z cudzego API, trzeba sprawdzić warunki dostawcy przed ich zapisaniem i użyciem do treningu. Sam dostęp do wyników nie musi oznaczać prawa do budowy konkurencyjnego modelu. Trzeba też ustalić prawa do promptów i danych wejściowych oraz zasady pracy z informacjami poufnymi.

W artykule o rozmowach USA i Chin przytaczamy ocenę Su Lian Jye z Omdia: proponowany kanał alertów może zwiększyć przejrzystość, ale nie usunie sporów o destylację modeli, konkurencję cenową i tempo rozwoju AI.

Zobacz też: model open-weight, benchmark.