OpenAI opublikowało 722 prace wygenerowane przez wewnętrzny model AI, obejmujące zagadnienia z teorii liczb, geometrii algebraicznej i innych dziedzin matematyki. Skala materiału pozwala szerzej ocenić możliwości systemu, ale nie rozstrzyga o poprawności wyników. Model pozostał zamknięty, dlatego matematycy mogą analizować prace, lecz nie mogą samodzielnie sprawdzić procesu, który doprowadził do ich powstania.
Model otrzymał około 4000 problemów matematycznych
OpenAI podało, że przekazało modelowi około 4000 problemów, a opublikowane wyniki uporządkowało w 372 grupach. Łącznie udostępniony zbiór obejmuje 722 prace. Firma nie podała nazwy systemu ani nie zapewniła badaczom dostępu do jego działania.
Najważniejsze liczby opisujące publikację to:
- około 4000 problemów przekazanych modelowi,
- 722 opublikowane prace wygenerowane przez AI,
- 372 grupy, w których uporządkowano wyniki,
- 10 streszczeń toku rozumowania dla wybranych rezultatów.
Streszczenia dotyczą tak zwanego łańcucha myśli, czyli opisu kolejnych etapów rozumowania modelu. Nie są jednak pełną dokumentacją pracy systemu i obejmują tylko niewielką część udostępnionego zbioru. W przypadku pozostałych rezultatów badacze otrzymali prace do oceny bez porównywalnego wglądu w sposób dochodzenia do odpowiedzi.
Sama liczba dokumentów nie stanowi potwierdzenia ich poprawności. Matematycy rozpoczęli przegląd materiałów, ale zweryfikowanie setek dowodów wymaga czasu. Otwarte pozostaje też pytanie, czy na tych wynikach można bezpiecznie budować kolejne badania, skoro system generujący rozwiązania nie jest dostępny dla środowiska naukowego.
Wyniki dotyczą trzech problemów milenijnych
OpenAI poinformowało o postępach związanych z trzema spośród pięciu nierozwiązanych problemów milenijnych. W tej grupie znajduje się hipoteza Riemanna. Firma nie twierdzi jednak, że rozwiązała wszystkie trzy problemy, a opublikowane informacje nie zastępują niezależnej weryfikacji matematycznej.
Szczególnie silną reakcję wywołał rezultat dotyczący hipotezy Riemanna. Alex Kontorovich, distinguished mathematics professor na Rutgers University, ocenił, że analogiczne osiągnięcie człowieka prowadziłoby do natychmiastowego uznania na poziomie Medalu Fieldsa. Jego wypowiedź pokazuje potencjalną wagę wyniku, nie jest jednak potwierdzeniem poprawności dowodu.
Rozróżnienie między postępem a rozwiązaniem ma w tym przypadku zasadnicze znaczenie. Informacja o wyniku modelu może oznaczać nową metodę, częściowy rezultat albo rozwinięcie znanego kierunku badań. Materiał źródłowy nie określa szczegółowo charakteru każdego z trzech osiągnięć, dlatego nie można na jego podstawie uznać problemów za zamknięte.
Publikacja przenosi teraz ciężar pracy na matematyków, którzy muszą sprawdzić założenia, kolejne kroki dowodów i zgodność wniosków z dotychczasową wiedzą. Dopiero taki przegląd pokaże, które rezultaty są poprawne i mają znaczenie dla dalszych badań.
Średni wynik wymagał mniej mocy obliczeniowej
Według OpenAI przeciętny rezultat z nowego zbioru wymagał jedynie części mocy obliczeniowej wykorzystanej wcześniej przy pracy nad problemem Naviera-Stokesa. Firma wydała na obliczenia związane z tamtym projektem miliony dolarów. Nie podała jednak dokładnego kosztu ani wielkości oszczędności osiągniętej w przypadku 722 nowych prac.
Nowy zbiór daje szerszy obraz możliwości modelu niż pojedynczy, kosztowny eksperyment. Zamiast oceniać system wyłącznie przez wynik dotyczący problemu Naviera-Stokesa, badacze mogą porównać jego zachowanie w setkach zadań z kilku dziedzin matematyki.
Większa liczba prób pozwala szukać powtarzających się błędów, oceniać stabilność metod i sprawdzać, czy model radzi sobie tylko z wybranymi typami problemów. Nie eliminuje jednak podstawowego ograniczenia. Bez dostępu do systemu matematycy analizują przede wszystkim jego końcowe produkty, a nie pełny proces generowania i sprawdzania dowodów.
Materiał nie wyjaśnia również, jak firma wybierała problemy, jak odrzucała nieudane odpowiedzi ani czy każda opublikowana praca przeszła wewnętrzną kontrolę. Te informacje byłyby potrzebne do pełniejszej oceny skuteczności modelu na zbiorze około 4000 zadań.
Matematycy sprzeciwiają się badaniom na zamkniętych modelach
Spór dotyczy nie tylko jakości opublikowanych dowodów. Część matematyków uważa, że wykorzystywanie własnościowych modeli do rozwiązywania zaawansowanych problemów przedkłada uzyskanie rezultatu nad zrozumienie metody. Badacze nie mogą odtworzyć eksperymentu ani sprawdzić, z jakich danych i procedur korzystał system.
OpenAI poinformowało, że przy publikacji zastosowało zalecenia niezależnej grupy doradczej złożonej z czołowych matematyków. Firma uczestniczyła wcześniej w jej powołaniu. Według materiału źródłowego grupa przygotowała wytyczne po zebraniu opinii od setek badaczy i ogłosiła je w tygodniu poprzedzającym publikację prac.
Firma nie przyjęła wszystkich zaleceń. Komitet zwrócił się do twórców AI, aby nie testowali zaawansowanych problemów matematycznych za pomocą zamkniętych systemów. OpenAI odrzuciło ten postulat, argumentując, że dalsze ocenianie wewnętrznych modeli granicznych w matematyce i innych naukach ma pomóc w tworzeniu narzędzi wspierających te dziedziny.
Stanowisko komitetu wiąże się z wcześniejszym listem otwartym A Severe Misalignment of AI in Mathematics. Podpisało go ponad dwóch tuzinów laureatów Medalu Fieldsa. Autorzy ostrzegali, że wyścig firm AI w rozwiązywaniu problemów może zagrozić celowi badań matematycznych, jeśli najważniejszy stanie się sam wynik, a nie możliwość zrozumienia i rozwijania metody.
Kontrowersje wzmacnia wcześniejsza dyskusja o pracy nad problemem Naviera-Stokesa. Naukowiec współpracujący z badaczem Anthropic zasugerował, że system OpenAI mógł wykorzystać jego nieopublikowane badania. OpenAI zaprzecza temu zarzutowi. Materiał źródłowy nie przedstawia rozstrzygnięcia tej sprawy.
Publikacja zwiększa presję na środowisko naukowe
OpenAI i Anthropic wykorzystują trudne problemy matematyczne do prezentowania możliwości swoich zaawansowanych modeli. Według OpenAI prace nad problemami milenijnymi rozpoczęły się po informacji, że Anthropic rozwiązało już co najmniej jeden z rozpatrywanych problemów. Rywalizacja firm stała się więc jednym z czynników napędzających kolejne eksperymenty.
Presję odczuli również naukowcy korzystający z AI. Gdy pojawiły się pogłoski o planowanym udostępnieniu setek dowodów, niektórzy matematycy przyspieszyli publikowanie własnych prac, aby model OpenAI nie ogłosił podobnych wyników wcześniej. Źródło nie wskazuje konkretnych publikacji ani badaczy, których dotyczyła ta sytuacja.
Obecny układ pozostawia środowisku naukowemu znacznie więcej materiału do oceny, ale nie rozwiązuje sporu o przejrzystość. OpenAI upubliczniło prace, natomiast zachowało model wewnątrz organizacji. Dostępne streszczenia rozumowania obejmują 10 wyników, czyli małą część całego zbioru.
Dla firm w Polsce publikacja stanowi praktyczną przestrogę przed utożsamianiem dużej liczby wyników AI z ich potwierdzoną jakością. Przy wdrażaniu modeli do zadań wymagających wysokiej wiarygodności potrzebne pozostają kontrola ekspercka, możliwość odtworzenia procesu oraz jasna dokumentacja zakresu testów.
Przypadek OpenAI pokazuje też różnicę między dostępnością rezultatu a dostępnością systemu. Można opublikować setki dokumentów, a jednocześnie nie zapewnić odbiorcom narzędzi potrzebnych do zbadania sposobu ich powstania. To właśnie ta luka pozostaje głównym przedmiotem sporu między firmą a jej doradcami.
