Context window (okno kontekstowe)

Okno kontekstowe to limit tokenów, jakie model może przetworzyć w pojedynczym zapytaniu. Obejmuje wszystko: instrukcję systemową, historię rozmowy, dołączone dokumenty oraz generowaną odpowiedź.

Dlaczego model "zapomina"

Model nie ma pamięci między zapytaniami - przy każdej wiadomości otrzymuje całą historię rozmowy jako tekst. Gdy rozmowa przekroczy rozmiar okna, najstarsze fragmenty są obcinane. Stąd wrażenie, że model zapomniał wcześniejsze ustalenia.

Duże okno to nie wszystko

Modele gorzej wykorzystują informacje umieszczone w środku bardzo długiego kontekstu niż te na początku i na końcu. Kluczowe instrukcje warto powtórzyć po dołączonym dokumencie, a nie tylko przed nim. Dłuższy kontekst oznacza też wyższy koszt i dłuższy czas odpowiedzi.

Zobacz też: token.