Inferencja

Inferencja to uruchomienie wytrenowanego modelu AI, aby na podstawie danych wejściowych zwrócił odpowiedź, obraz, decyzję lub inny wynik. Zachodzi przy każdym zapytaniu użytkownika albo systemu.

Inferencja a trening modelu

Trening zmienia parametry modelu na podstawie danych i ma określony przebieg. Inferencja korzysta z już ustalonych parametrów; sama nie uczy modelu. Dostrajanie jest więc etapem treningowym. W modelu językowym inferencja obejmuje obliczenia prowadzące do wyboru kolejnych tokenów.

Skąd bierze się koszt inferencji

Inferencja jest kosztem bieżącym. W usłudze API opłata często zależy od liczby tokenów wejściowych i wyjściowych. Infrastruktura zużywa też czas GPU lub procesora, pamięć operacyjną i transfer. Wraz z liczbą zapytań rośnie liczba obliczeń, a przy zachowywaniu logów także zajętość pamięci masowej.

Po zwróceniu wyniku mogą pozostać logi, zapis kontekstu, wyniki pośrednie, kopie i dane potrzebne do kontroli bezpieczeństwa. W pomiarze opisanym przez WD wygenerowanie 8-sekundowego filmu 720p o rozmiarze 3,97 MB pozostawiło na zapleczu ponad 500 MB powiązanych danych, czyli według firmy około 130 razy więcej. Źródło nie podało konfiguracji modelu ani czasu retencji, więc nie jest to uniwersalny przelicznik.

Model lokalny i dostawca inferencji

Model można uruchomić na własnym procesorze lub GPU albo skorzystać z usługi przez API. "Dostawca inferencji" utrzymuje infrastrukturę, uruchamia model i udostępnia punkt dostępu; nie musi być twórcą modelu. Modele open-weight można wdrożyć lokalnie. Firma przejmuje wtedy koszt sprzętu, energii, aktualizacji, monitoringu i skalowania, ale ma większą kontrolę nad danymi i retencją.

Zobacz też: LLM, kwantyzacja modeli.