Jak naprawdę działa model językowy? Wyjaśnienie bez matematyki
Tokeny, prawdopodobieństwo następnego słowa, okno kontekstowe i wagi - cztery pojęcia, które wystarczą, żeby zrozumieć, skąd biorą się możliwości i wpadki modeli językowych.
Modele językowe (LLM) to sieci neuronowe trenowane na ogromnych zbiorach tekstu, które przewidują kolejne fragmenty wypowiedzi. Działają na nich ChatGPT, Claude i Gemini, a także większość narzędzi do pracy z tekstem i kodem.
Wyjaśniamy, jak działają od środka - tokeny, architektura transformer, okno kontekstowe - skąd biorą się halucynacje i jak wybrać model do konkretnego zadania.
4 artykułów
Tokeny, prawdopodobieństwo następnego słowa, okno kontekstowe i wagi - cztery pojęcia, które wystarczą, żeby zrozumieć, skąd biorą się możliwości i wpadki modeli językowych.
Fakty, które się zmieniają, kontra styl i format odpowiedzi - prosty test rozstrzygający, którą technikę zastosować.
Trzy typy halucynacji, mechanizm, który je wywołuje, i siedem sposobów ograniczania ryzyka w systemach produkcyjnych.
Jak przygotować dokumenty, podzielić je na fragmenty, wybrać sposób wyszukiwania i sprawdzić, czy system faktycznie odpowiada poprawnie.
Amerykańska firma AI rozwijająca modele Claude oraz produkty do pracy z tekstem, kodem i agentami.
Baza danych przechowująca embeddingi i umożliwiająca szybkie wyszukiwanie najbardziej podobnych znaczeniowo fragmentów.
Standardowy zestaw zadań, na którym porównuje się modele AI. Wynik mówi, jak model radzi sobie z tym zestawem,…
Podział dokumentów na mniejsze fragmenty przed zapisaniem ich w bazie wektorowej. Od niego w dużej mierze zależy jakość…
Ogólnodostępny model językowy Anthropic do programowania, pracy z wiedzą i zadań agentowych, rozwijany w wersjach 5, 5.1 i…
Model językowy Anthropic do pracy z kodem oraz wybranych zadań z cyberbezpieczeństwa i nauk przyrodniczych, udostępniany zweryfikowanym organizacjom.
Rodzina modeli językowych firmy Anthropic, używana do pracy z tekstem, kodem i zadaniami agentowymi. Obejmuje kilka wersji znanych…
Maksymalna ilość tekstu, którą model może wziąć pod uwagę w jednym zapytaniu - liczona w tokenach.
Technika trenowania mniejszego modelu na odpowiedziach większego, aby zachować wybrane umiejętności przy niższym koszcie działania.
Zamiana tekstu na listę liczb reprezentującą jego znaczenie - podstawa wyszukiwania semantycznego.
Dalsze trenowanie gotowego modelu na własnych przykładach, żeby zmienić sposób, w jaki odpowiada.
Generacja modeli AI firmy Google do kodowania, badań, pisania i analizy materiałów wizualnych, obejmująca udostępniony model Argon i…
Społeczność
Portal tworzą praktycy i badacze AI. Napisz artykuł, zaproponuj hasło do słownika albo dołącz do dyskusji pod tekstami.
Zostań autorem Przeglądaj słownik AI
Nowe artykuły, hasła ze słownika i to, co naprawdę wydarzyło się w AI przez ostatnie siedem dni. Bez hype’u.