ProFuture AI ретвитнул
„Polskie AI przegrywa”, „Bielik słabszy od Zachodu”, „lokalne modele odstają”. Najdalej chyba poszedł Spider's Web dając tytuł "Polskie boty to tumany. Nasze modele poległy na testach z języka i kultury polskiej"...
W rozmowie opublikowanej przez XYZ.pl Sebastian Kondracki nie twierdzi, że @bielikllm wygrywa z każdym i wszędzie, ale przeciwnie: przyznaje, że w literackiej kreatywności czy zadaniach ogólnych większe, zachodnie systemy mają przewagę. Jego zarzut jest inny i dużo poważniejszy: raport Oxido porównuje rzeczy, które nie powinny być wrzucane do jednego worka.
Sebastian punktuje słabość raportu już na poziomie samej konstrukcji testu. Używa bardzo celnej analogii: to jak porównywać F-16 z furgonetką i na tej podstawie ogłaszać, że jedno rozwiązanie jest obiektywnie lepsze od drugiego. Owszem, myśliwiec będzie szybszy, ale nie po to buduje się furgonetkę.
Tak samo jest z Bielikiem: nie powstał jako uniwersalny, konsumencki system do imponowania w otwartych zadaniach kreatywnych, tylko jako kompaktowy model do pracy z polszczyzną, analizą tekstu i danymi wrażliwymi w środowisku biznesowym. Samo zestawienie go z gigantycznymi, zagranicznymi modelami ogólnego przeznaczenia już na wejściu zniekształca obraz.
Drugi problem, który Sebastian podkreśla bardzo wyraźnie, dotyczy warunków testu. Według niego benchmark Oxido nie mierzył tyle jakości modeli, ile jakość ich konfiguracji. Zagraniczne systemy miały dostęp do internetu, więc w zadaniach takich jak cytowanie „Pana Tadeusza” mogły po prostu pobrać odpowiedź z sieci. Bielik i PLLuM takiego dostępu nie miały, bo nie są projektowane jako publiczne, wszechwiedzące czaty podpięte do zasobów online.
W takim układzie wynik nie mówi nam, który model lepiej „zna polski”, tylko który działał w bardziej uprzywilejowanym środowisku. To różnica fundamentalna.
Trzeci zarzut jest jeszcze bardziej techniczny, ale właśnie dlatego istotny. Małe i kompaktowe modele wymagają odpowiedniego dostrojenia do konkretnego zadania. Inaczej ustawia się je do kreatywnego pisania, inaczej do analizy tekstu, jeszcze inaczej do pracy na dokumentach prawnych czy danych firmowych.
Duże, zamknięte systemy mają część tej orkiestracji „zaszytą” w swoich warstwach produktowych: dobierają parametry automatycznie, korzystają z historii pracy użytkownika i są otoczone dodatkowymi mechanizmami wspomagającymi.
Jeśli więc porównuje się sam silnik do kompletnego, rozbudowanego produktu, to wynik musi być mylący.
Żeby ten benchmark Oxido był sensowny to należałoby porównywać modele w podobnej kategorii wagowej i w podobnym kontekście użycia. Właśnie wtedy Bielik potrafi wypadać bardzo dobrze, także nie tylko w języku polskim.
Wskazuje na przewagi w wyspecjalizowanych zadaniach, m.in. testach językowo-kulturowych oraz zastosowaniach prawnych po dostrojeniu. Innymi słowy: sensowne pytanie nie brzmi „czy Bielik jest lepszy od wszystkich modeli z USA”, lecz „czy dobrze rozwiązuje problemy, do których został zbudowany”.
I tu dochodzimy do sedna, czyli do tego, dlaczego Bielika trzeba odróżniać od zagranicznych modeli fundamentalnych. Modele fundamentalne budowane przez OpenAI, Google czy Anthropic globalnych graczy są tworzone jako systemy szerokiego zastosowania: mają odpowiadać na niemal wszystko, być pomocne dla milionów użytkowników, łączyć model z narzędziami, internetem, warstwą wnioskowania i potężnym zapleczem produktowym.
Bielik ma inną filozofię. Jest modelem kompaktowym, bardziej B2B niż B2C, przeznaczonym do wdrożeń lokalnych, do działania na własnej infrastrukturze i do pracy tam, gdzie znaczenie mają prywatność, kontrola nad danymi i możliwość dostrojenia do konkretnych procesów. To nie jest „mniejszy ChatGPT”. To jest inna klasa narzędzia.
Cały medialny zgiełk wokół Oxido bierze się więc z typowego skrótu myślowego: skoro polski model nie wygrywa w zadaniach ogólnych, to znaczy, że „przegrywa” jako taki. Tymczasem z perspektywy instytucji publicznych, banków, ubezpieczycieli czy firm pracujących na wrażliwych dokumentach ważniejsze od popisowego eseju bywa to, czy model można uruchomić lokalnie, czy da się go kontrolować, czy nie wycieka z niego wiedza i czy da się go dostroić do domeny. W takim świecie ranking oparty na cytowaniu literatury albo zadaniach z ogólnej sprawności językowej bywa efektowny, ale bywa też poznawczo tani.
xyz.pl/burza-wokol-bi…
Polski
