Patronite
5.4K posts
@Patronite_PL
Profil oficjalny. Część wypowiedzi może mieć charakter satyryczny. Admin jest dziwny i jego twitty lądują czasem w MLH i u Marszała. Przepraszamy.
Bielik- Minitron-7B - projekt, który miałem wielki zaszczyt prowadzić jako lider techniczny z ramienia Bielika 🇵🇱 przy współpracy z @nvidia 👍💪🙏🎉 oraz niesamowitymi chłopakami z naszego zespołu (o tym za chwilę). Ogłoszenie piszę przebywając w San Jose, CA 🇺🇸 To tutaj właśnie powstają przełomowe dla AI produkty. Symboliczne. Po pierwsze zespół najważniejszy dlatego - brawo Paweł Kiszczak, który świetnie zadziałał jako wsparcie techniczne (zresztą Pawła konfiguracja modelu okazała się w naszych testach najlepszą) oraz lider biznesowy. Przepięknie prowadzony projekt. Świetne wsparcie. Ogrom zaangażowania. Jesteś gość - pełen szacunek. Wspólnie robiliśmy etap R&D, pruningu oraz destylacji. Prace wykonaliśmy z super teamem Nvidia. Ekspresowo. Przygotowanie modeli, danych, destylacja - konfiguracja Leptona DGX, skryptów (nie obyło się bez custom kodowania). Szczególne podziękowania chcę złożyć na ręce Sergio Perez z Nvidia za wsparcie i pomoc techniczną - merytoryka potoku pruningu i destylacji oraz Nvidia Leption DGX Cloud. Co zrobiliśmy? Przeprowadziliśmy pruning modelu Bielik-11B-v3.0 oraz destylację do modelu 7B przy minimalnej stracie jakości tnąc blisko 30% parametrów. Całość procesu opisaliśmy w publikacji. Jest to ponownie unikatowy eksperyment w Polsce (po pierwszym polskim modelu reasoningowym) podczas którego pokazaliśmy jak utrzymać jakość w kontekście j.polskiego (+innych europejskich). Jesteśmy gotowi by robić takie eksperymenty na większych modelach - mamy wypracowany standard, doświadczenia. Dziękuję bardzo Krzyśkowi Ociepie - trening instrukcyjny oraz alignment, Krzyśkowi Wróblowi - benchmarki, Adrianowi Gwoździejowi - piękne dane, oraz Łukaszowi Flisowi (Cyfronet) - udostępnienie zasobów Helios do treningu instrukcyjnego, alignmentu oraz RL. Podziękowania dla Sebastiana Kondrackiego za motywację 👍💪 Dzięki team za świetną współpracę w projekcie. To jest złoty team, który nie tylko posiada wiedzę ale jest zaangażowany, pomocny. Praca to głównie R&D. Model zyskał prędkość. Ma mniejsze wymagania sprzętowe. Natomiast to co istotne to zdobycie wiedzy i budowa potoku do tworzenia prunowanych modeli. Metoda wykorzystywana również przez Mistrala. Proces szczegółowo opisaliśmy w publikacji: arXiv:2603.11881 Brawo zespół! Podziękowania dla #Nvidia.
Zasięgi : u Stanowskiego prawie 1,4 mln u Zychowicza 444 tys u Rymanowskiego (od wczoraj) - 324 tys
Drodzy Czytelnicy i Słuchacze! Dziękujemy za Wasze wsparcie. Już po miesiącu obecności na @Patronite_PL wysokość wpłat przekroczyła 500 zł miesięcznie. To dla nas bardzo dobry sygnał i ważny impuls do dalszej pracy. Mamy nadzieję, że do końca roku uda się wspólnie osiągnąć pierwszy cel. Zachęcamy do dołączenia i wsparcia naszego projektu: patronite.pl/US Liczy się każda złotówka.
W 1937 roku, gdy Banach zapytał, ile Wiener jest w stanie mu zapłacić, von Neumann wręczył mu czek z wpisaną jedynie cyfrą „1” i powiedział: „Dopisz tyle zer, ile tylko chcesz”. Banach odparł: „Nawet te wszystkie zera to za mało, abym opuścił Polskę i moich przyjaciół”. Z okazji Mieczynarodowego Dnia Matematyki życzę wszystkim naukowcom w Polsce (bo czemu się ograniczać) abyśmy chętnie odzucali takie oferty pracy, bo w kraju będziemy mieli lepsze! A ta historia to epizod z barwnego życia Stefana Banacha, który slynal z tego, że problemy matematyczne rozwiązywał na serwetkach w barach. Jego sława obiegła cały świat. Norbert Wiener, twórca cybernetyki, kilkukrotnie wysyłał Johna von Neumanna do Lwowa, by przekonał Banacha do przeprowadzki do Stanów Zjednoczonych.
Naukowcy są w szoku 🤯Ja też‼️ Programista bez wiedzy medycznej użył sztucznej inteligencji, by stworzyć szczepionkę mRNA na raka i ocalić swojego psa! > Zapłacił 3000 dolarów za zsekwencjonowanie DNA guza. > Użył ChatGPT, aby przeanalizować mutacje genetyczne > Użył Google AlphaFold do stworzenia modeli przestrzennych białek. Programista zaprojektował z pomocą AI własną szczepionkę mRNA, by ocalić psa. Guz skurczył się o 75%, a technologia może zrewolucjonizować medycynę. Paul Conyngham z Sydney usłyszał koszmarną diagnozę: jego ukochany pies Rosie ma raka komórek tucznych (mastocytomę). Tradycyjna chemioterapia kosztowała tysiące dolarów, zatrzymała rozwój choroby, ale nie potrafiła zmniejszyć guzów. Pies powoli tracił możliwość chodzenia. Jako przedsiębiorca technologiczny, Paul postanowił potraktować nowotwór jak błąd w kodzie oprogramowania. Zaprzągł do pracy sztuczną inteligencję, a jego proces dosłownie wgniata w fotel. Krok 1: Zamiana tkanki na dane. Paul zlecił pobranie próbki guza i zsekwencjonowanie jego DNA. Jak sam mówi – przekonwertował fizyczny problem na czyste dane. Krok 2: Analiza z AI. Wykorzystał ChatGPT do przeanalizowania gigabajtów danych pochodzących z sekwencjonowania. Sztuczna inteligencja krok po kroku pomogła mu zidentyfikować konkretne mutacje i znaleźć główny problem w DNA nowotworu. Krok 3: Projektowanie leku. Bazując na zidentyfikowanym błędzie, Paul – przypominam, człowiek bez wykształcenia biologicznego – zaprojektował sekwencję pierwszej na świecie, w pełni spersonalizowanej szczepionki mRNA dla psa. Krok 4: Synteza. Z gotowym „kodem źródłowym” szczepionki zgłosił się do dr. Pálla Thordarsona, dyrektora prestiżowego UNSW RNA Institute. Naukowcy, dysponując gotowym projektem od Paula, wyprodukowali fizyczną szczepionkę w niecałe dwa miesiące. Efekty przeszły najśmielsze oczekiwania. Po zaledwie miesiącu od podania, nowotwór skurczył się o 75%. W grudniu pies ledwo chodził, a w styczniu przeskakiwał płoty, goniąc króliki. Dyrektor UNSW RNA Institute nie ma wątpliwości: to absolutny przełom. Ten przypadek udowadnia, że nie musimy czekać latami na gigantów farmaceutycznych pokroju Moderny i ich wielomiliardowe budżety. Technologię mRNA i spersonalizowaną medycynę można zdemokratyzować na poziomie lokalnych instytutów. W niedalekiej przyszłości ten sam schemat działania z użyciem AI będzie można zastosować do leczenia nowotworów i chorób neurologicznych u ludzi. A wszystko to dlatego, że pewien programista nie wyobrażał sobie życia bez swojego najlepszego przyjaciela. @OpenAI @moderna_tx #AI #HealthTech #mRNA Daily Mail
