Jak naprawdę działa model językowy? Wyjaśnienie bez matematyki
Tokeny, prawdopodobieństwo następnego słowa, okno kontekstowe i wagi - cztery pojęcia, które wystarczą, żeby zrozumieć, skąd biorą się możliwości i wpadki modeli językowych.
Modele językowe
Jak działają duże modele językowe: tokeny, transformer, okno kontekstowe, halucynacje, dostrajanie.
4 artykułów
RAG czy fine-tuning? Jak dać modelowi wiedzę, której nie ma
Fakty, które się zmieniają, kontra styl i format odpowiedzi - prosty test rozstrzygający, którą technikę zastosować.
Halucynacje modeli: dlaczego AI zmyśla i jak to ograniczyć
Trzy typy halucynacji, mechanizm, który je wywołuje, i siedem sposobów ograniczania ryzyka w systemach produkcyjnych.
RAG w praktyce: jak dać modelowi dostęp do wiedzy firmy
Jak przygotować dokumenty, podzielić je na fragmenty, wybrać sposób wyszukiwania i sprawdzić, czy system faktycznie odpowiada poprawnie.
Pojęcia z tej kategorii
Cały słownik-
Baza wektorowa
Baza danych przechowująca embeddingi i umożliwiająca szybkie wyszukiwanie najbardziej podobnych znaczeniowo fragmentów.
-
Benchmark
Standardowy zestaw zadań, na którym porównuje się modele AI. Wynik mówi, jak model radzi sobie z tym zestawem,…
-
Chunking (dzielenie dokumentów)
Podział dokumentów na mniejsze fragmenty przed zapisaniem ich w bazie wektorowej. Od niego w dużej mierze zależy jakość…
-
Context window (okno kontekstowe)
Maksymalna ilość tekstu, którą model może wziąć pod uwagę w jednym zapytaniu - liczona w tokenach.
-
Embedding (osadzenie)
Zamiana tekstu na listę liczb reprezentującą jego znaczenie - podstawa wyszukiwania semantycznego.
-
Fine-tuning (dostrajanie)
Dalsze trenowanie gotowego modelu na własnych przykładach, żeby zmienić sposób, w jaki odpowiada.
-
Halucynacja
Odpowiedź modelu, która brzmi wiarygodnie, ale jest nieprawdziwa - nieistniejące źródła, wymyślone dane, fikcyjne cytaty.
-
LLM
Duży model językowy - sieć neuronowa trenowana na ogromnych zbiorach tekstu, przewidująca kolejne tokeny.
-
Model open-weight (otwarte wagi)
Model, którego wagi można pobrać i uruchomić na własnym sprzęcie. Nie zawsze jest to open source w pełnym…
-
Model rozumujący
Model językowy wytrenowany tak, żeby przed odpowiedzią przeprowadzić dłuższe wewnętrzne rozumowanie. Lepiej radzi sobie z zadaniami wieloetapowymi, ale…
-
RAG
Technika, w której system wyszukuje pasujące fragmenty dokumentów i dokłada je do zapytania, zamiast polegać na pamięci modelu.
-
RLHF
Etap treningu, w którym model uczy się preferowanych odpowiedzi na podstawie ocen wystawianych przez ludzi.