Słownik AI
Transformer
transformer
Architektura sieci neuronowej z mechanizmem uwagi, na której opierają się wszystkie współczesne modele językowe.
Transformer to architektura sieci neuronowej przedstawiona w 2017 roku w pracy "Attention Is All You Need". Stanowi podstawę praktycznie wszystkich współczesnych modeli językowych.
Mechanizm uwagi
Kluczowy element to attention: przy przetwarzaniu każdego tokenu model ocenia, jak silnie wiąże się on z pozostałymi tokenami w tekście. Dzięki temu w zdaniu "Kot, który siedział na parapecie, był rudy" potrafi powiązać "był rudy" z "kot", mimo dzielącej je odległości.
Dlaczego wyparł wcześniejsze podejścia
Poprzednie architektury przetwarzały tekst sekwencyjnie - słowo po słowie - co uniemożliwiało efektywne zrównoleglenie i utrudniało wychwytywanie zależności między odległymi fragmentami. Transformer przetwarza całą sekwencję jednocześnie, co pozwoliło skalować trening do rozmiarów dzisiejszych modeli.
Zobacz też: LLM, jak działa model językowy.
