Cantina Security, we współpracy z Yeta Labs, udostępniła apex-flash-1, model z otwartymi wagami przeznaczony do badania podatności. System rozwiązał 40 z 60 zadań w wewnętrznym benchmarku firmy, osiągając wynik zbliżony do Claude Opus 5 High przy znacznie niższym szacowanym koszcie przebiegu. Model można uruchamiać we własnej infrastrukturze, ale wariant BF16 wymaga około 640 GB pamięci GPU.
Co udostępniły Cantina Security i Yeta Labs
apex-flash-1 powstał przez dostrojenie modelu Z.ai GLM-5.3-Flash metodą uczenia ze wzmocnieniem. Wagi opublikowano na platformie Hugging Face na licencji MIT. Model współpracuje z vLLM, SGLang i biblioteką Transformers, co pozwala wdrażać go przy użyciu popularnych narzędzi do obsługi modeli językowych.
Według metadanych plików safetensors na Hugging Face apex-flash-1 ma łącznie 321,3 mld parametrów. Bazowy GLM-5.3-Flash wykorzystuje architekturę Mixture-of-Experts, w skrócie MoE, i aktywuje 18 mld parametrów. Źródło nie podaje dodatkowych informacji o zmianach w architekturze wprowadzonych podczas dostrajania.
Publikacja wag nie oznacza, że model łatwo uruchomić na typowej stacji roboczej. W precyzji BF16 potrzeba około 640 GB pamięci GPU, a więc węzła wyposażonego w wiele procesorów graficznych. Dostępne są społecznościowe porty czterobitowe, jednak materiał nie przedstawia ich wyników ani porównania jakości z wariantem BF16.
Jak przygotowano dane i przeprowadzono trening
Cantina Security wykorzystała metodę Group Relative Policy Optimization, czyli GRPO. Trening połączył LoRA rangi 256 z selektywnym dostrajaniem pełnych parametrów. Zastosowanie LoRA ogranicza zakres aktualizowanych wag, natomiast selektywny trening pełnoparametrowy pozwala modyfikować wybrane części modelu bez trenowania całej sieci w jednakowy sposób.
Zbiór treningowy obejmował 150 zadań utworzonych na podstawie 50 rzeczywistych przypadków podatności. Każdy przypadek przygotowano w trzech wariantach, różniących się zakresem dostępu do informacji o analizowanym systemie:
- guided whitebox, wariant z dostępem do kodu i dodatkowymi wskazówkami prowadzącymi analizę,
- focused whitebox, ukierunkowane zadanie z dostępem do kodu,
- focused blackbox, ukierunkowane zadanie bez wglądu w kod analizowanego rozwiązania.
Problemy z autoryzacją, tożsamością i zakresem uprawnień stanowiły 72 proc. przypadków. Błędy księgowe oraz problemy z precyzją obliczeń odpowiadały za kolejne 18 proc. Pozostała część obejmowała walidację czasu, reguły biznesowe i podatności SSRF, czyli wymuszanie przez atakującego żądań po stronie serwera.
Jak Cantina Security sprawdziła skuteczność modelu
Przebiegi uczenia ze wzmocnieniem wykonywano w środowisku agenta Codex. Model działał na oprogramowaniu i środowiskach protokołów, które miały przypominać systemy produkcyjne. Taki sposób oceny obejmuje nie tylko generowanie odpowiedzi tekstowej, lecz także pracę z kodem i narzędziami w przygotowanym środowisku.
Do testu końcowego Cantina Security wybrała 60 zadań zbudowanych na podstawie 20 odłożonych przypadków podatności. Nie należały one do danych wykorzystanych podczas treningu. Każdy porównywany model wykonał cały zestaw tylko raz, dlatego raportowany wynik pass@1 opisuje skuteczność w pojedynczym przebiegu, bez wybierania najlepszej odpowiedzi z wielu prób.
Koszty oszacowano na podstawie cenników dostawców. Nie są to zatem pomiary całkowitego kosztu posiadania infrastruktury ani rachunki za lokalne uruchomienie apex-flash-1. Materiał nie podaje też konfiguracji sprzętowej użytej podczas benchmarku.
Jak apex-flash-1 wypadł na tle dwóch modeli
apex-flash-1 rozwiązał 40 z 60 zadań, co odpowiada skuteczności 66,7 proc. pass@1. Szacowany koszt całego przebiegu wyniósł około 2,38 USD.
| Model | Rozwiązane zadania | pass@1 | Szacowany koszt przebiegu |
|---|---|---|---|
| apex-flash-1 | 40 z 60 | 66,7 proc. | około 2,38 USD |
| GLM-5.3-Flash | 36 z 60 | 60,0 proc. | około 4,56 USD |
| Claude Opus 5 High | 43 z 60 | 71,7 proc. | około 74,68 USD |
Bazowy GLM-5.3-Flash rozwiązał 36 zadań, a więc o cztery mniej niż wersja dostrojona przez Cantina Security. Jego szacowany koszt był jednocześnie wyższy i wyniósł około 4,56 USD. Wyniki wskazują, że specjalistyczny trening poprawił rezultat w tym konkretnym zestawie, choć pojedynczy przebieg nie pokazuje zmienności odpowiedzi między kolejnymi uruchomieniami.
Claude Opus 5 High osiągnął najlepszy wynik, rozwiązując 43 zadania. Były to trzy zadania więcej niż w przypadku apex-flash-1, ale szacowany koszt wyniósł około 74,68 USD, czyli około 31 razy więcej. Cantina wyliczyła koszt jednego rozwiązanego zadania na około 0,06 USD dla apex-flash-1 oraz 1,74 USD dla Claude Opus 5 High. Są to dane firmy pochodzące z jej wewnętrznego benchmarku, a nie wyniki niezależnej oceny.
Do czego model ma służyć w praktyce
Cantina Security pozycjonuje apex-flash-1 jako model wykonawczy, a nie system samodzielnie zarządzający całym procesem. Większy model ma pełnić funkcję orkiestratora i przydzielać mu konkretne zadania. Karta modelu wymienia wśród docelowych umiejętności czytanie kodu, korzystanie z narzędzi, przygotowywanie exploitów oraz weryfikowanie wykrytych problemów.
Udostępniono także eksperymentalny wariant apex-flash-1-abliterated ze zmienionym mechanizmem odmowy wykonywania poleceń. Cantina Security nie oceniła tej wersji osobno, dlatego podane wyniki nie pozwalają porównać jej skuteczności ani zachowania z podstawowym apex-flash-1.
Twórcy uzasadniają publikację potrzebą zapewnienia zespołom bezpieczeństwa modeli, które mogą uruchamiać i kontrolować lokalnie. Dla firm w Polsce oznacza to możliwość analizowania kodu we własnej infrastrukturze, jednak pełny wariant wymaga rozbudowanego węzła GPU. Przed wdrożeniem organizacja powinna też samodzielnie sprawdzić skuteczność na własnych klasach podatności, ponieważ opublikowane liczby pochodzą z jednego wewnętrznego benchmarku złożonego z 60 zadań.
