Architektura otwartych bibliotek obrazków & wulkanów by @natur

Link do artykułu: https://zarobmy.se/architektura-otwartych-bibliotek-obrazkow-wulkanow-by-natur/

//tekst popełniony przez @natur; //mam nadzieję, że nie pokićkałem obrazków, gdyż narzędzie toporne; Architektura OpenGL / Vulkan na różnych systemach Spis treści 1. Kim jestem? 2. Wprowadzenie 3. Architektura OpenGL na Linuxie 4. Współpraca EGL z kompozytorem 5. Architektura OpenGL w wirtualnych maszynach 6. Architektura OpenGL na Androidzie 7. Architektura…

4 Likes

A jak się ma to szanowny Panie pod Apple ? Oni zawsze lubili inaczej. Nie, nie mam na myśli nowych M1 pro i dalej z ARM ale IPhone …

1 Like

Apple ma swój osobny standard sterowników, inny od wszystkich(“Metal”). Inny w sensie API, bo zasada działania podobna do sterów linuxowych (Apple tez jest unixo-podobne)

2 Likes

Po co ona jest ?

GPU są rozwijane bo ich rozwój finansują gracze. Istniał okres w którym sprzętowe przyspieszanie 3D było niedostępne dla graczy - wtedy symulatory samolotów pracowały na sprzęcie Silicon Graphics a symulator w zakupie był niewiele tańszy od całego samolotu. Pojedyncza stacja robocza SGI (taki laptop tyle że zamknięty w PieCyku) potrafiła kosztować tyle co średnej klasy samochód. Pracownia grafiki komputerowej zapełniona sprzętem SGI wyposażana była kraty w oknach oraz drzwi przeciwwłamaniowe bo była więcej warta niż zawartość kasy pancernej stojącej w dziale finansów wydziału informatyki. A był to okres w którym rozliczenia wydziału informatyki przechodziły w większości przez kasę pancerną właśnie.

Efektem rozwoju technologii obliczania obrazków w 3D systemy rozszerzonej rzeczywistości zaczęły malować różne obrazki pilotom oraz kierowcom. Ostatnio obrazki zaczęły być wyświetlane lekarzom w okularach na wypadek gdyby się nie zorientowali czy kroją lewą czy prawą, rękę czy nogę.

Wizualizacja problemu do rozwiązania czyli możliwość przejścia z konsoli tekstowej oraz abstrakcyjnego opisu opartego o zrozumienie tekstu pisanego ( “czytanie ze zrozumieniem!” ) na obrazek obniża poprzeczkę dla rozwiązującego problem. Po przejściu z konsoli na obrazek (a jeszcze lepiej na ruchomy obrazek) problemy mogą być rozwiązywać przez większą ilość głupszych. Co umożliwia rozciągnięcie czyli wydłużenie hierarchii decyzyjnej co z kolei pozwala zwiększać procentowy udział korpo w gospodarce.

3 Likes

Na początku wszystkie akceleratory służyły do cadów. Z tego się wywodzą. Tylko to mały rynek i były epicko drogie.
Umasowienie grami spowodowało, że dedykowanych kart dla cad już praktycznie nie ma - są to warianty kart do grania, tylko mają dowalone zasoby, które nie wpływają na granie.

Co zwiększa produktywność, ale też upraszcza zautomatyzowanie pracy takiej okrojonej intelektualnie małpy.

1 Like

Nic się nie zmieniło
Btw miałem kiedyś SGI Indygo do zabawy na uniwerku. Jak tam wszystko było pod górkę… ok lata produkcji 1992-7, ale do Debiana '97 się nie umywa. A Windowsach 9x nie wspomniając.

aż tak dobrze to nie działa

Polemizowałbym (częściowo). Trochę tak, ale dosyć szybko nastąpił rodzwięk na “gaminogowe 3d” vs CAD. Tzn 1995(?) 3dfx vs Maxtor (1990-4) tzn na rynku PC. W sensie rynek gamingowy był istotny dla IT od samego początku przejścia na mikroprocesory (Atari, Sega, Nintendo)

W tym kontekscie polecam wywiad z Dukajem. Wkleje go też na lektury: https://www.youtube.com/watch?v=MekrMEMDJCA

2 Likes

Apple wykupił licencję na układy do iPhone-ów od Imagination Technology. Stos graficzny jest podobny, przy czym nie mają w ogóle otwartych sterowników.

Metal jest zbliżony do Vulkana, ale jest o kilka feature-ów do tyłu.

W oddziale Intela w Gdańsku jest zespół od OpenGLa i do teraz 2-3 osoby pracują nad optymalizacjami performance-owymi dla CAD. Nazywa się to teraz “workstation”.

Generalnie, nVidia 10 lat temu zaczęła zmieniać paradygmat, że GPU jest do grania. Ta inwestycja teraz się zwraca. Serwerowa część rynku nVidii wykręca piękne zwroty. Tylko to nie jest już typowe GPU, musieli dołożyć tensor core-y, które liczą macierze. Macierz jest cięta na fragmenty 4x4 i liczona. Dodatkowo, teraz nVidia coś mówi o tym, że cała serwerownia to jest jeden komputer. Inwestują w sprzęt sieciowy (zakup Mellanoxa) i DPU. Jeśli jeden taki komputer ma kosztować “100M$”, to wynika z tego realny zisk.

Ostatatnio kolega mi powiedział, że klient zamówił najnowsze GPU od nVidii - chyba 1000 sztuk do AI - i nVidia powiedziała, że chętnie zrealizują zamówienie za 8 miesięcy - takie są kolejki.

Inny kolega powiedział, że sankcje na Chiny działają, bo Chiny nie mogą kupić teraz najnowszej nVidii, bo ma za dużo mocy obliczeniowej i takie gracze jak Graphcore czy Habana wchodzą w rynek, bo oferują właśnie taką moc obliczeniową, która przelatuje na radarze sankcji.

2 Likes

Ogólnie, to M1 i M2 od Apple-a to jest mix CPU od ARMa ii grafiki od Imagination Technology.

Linuksiarze, którzy kompilują dużo kodu zamawiają ten sprzęt, bo nawet jeśli w wirtualnej maszynie QEMU postawią sobie Linuxa, to zysk na czasie kompilacji takiego kernela jest niesamowity.
(Linus nawet robi releasy z M1).

Natomiast są sterowniki otwarte na grafikę M1 i M2 - Asahi Linux. Ostantio support do M2 został wcommitowany do kernela. Stos graficzny do M1/2 jest pod parasolem Mesy, która rozwija te sterowniki poprzez hobbystów, którzy robią reverse engineering.

Należy też pamiętać, że grafika M1/2 jest o jedną generację do tyłu z grafiką iPhone-ów.

3 Likes

I dlatego nie rozumiem, dlaczego oni tak stają okoniem linuxowcom ze swoimi sterami?
Kombinacja KDE/Wayland/Nvidia to jakaś masakra, kupa glitchy.

czajniki jakies swoje GPU pokazali, proste na razie, też na bazie Imagination

A te stery co robisz to do integry czy do tych nowych intelowych GPU?

2 Likes

Jestem najemnikiem teraz. Piszę sterowniki pod zamówienie.

Kiedyś robiłem stery do zintegrowanej grafiki Intela, później dla zintegrowanej grafiki AMD.

Teraz robię tym, którzy dobrze zapłacą - aktualnie developuję Vulkan Video extensions dla Safety Critical urządzeń.

Za mały rynek. Linux to raptem w porywach 1% wszystkich desktopów/laptopów. A papierologii jest multum, żeby wyrelease-ować coś close source i zrobić z tego open source. Plus maintainance kosztuje.

To jest pytanie: w jakim tempie czajniki będą gonić Intela/AMD/nVidię? Czy uda im się szybko nadrobić lata doświadczeń? Intel wypuszcza 14(!) generację procków. Czajniki - pierwszą!

2 Likes

ale wpływowy.

trudno powiedzieć, inżynierów trochę mają. Kupili IP do Ryzena 1 generacji jeszcze przed sankcjami.
Podobno ukradli z TSMC technologię 7nm. Cośtam mogą sklecić… Myślę że problemem byłoby raczej to, że nawet te miliony lokalnych klientów to za mały efekt skali, aby jechać na kradzionym (bo na globalnym zostaliby natychmiast zablokowani).

2 Likes

Jeśli przeciętna serwerownia wymaga 1000 GPU do AI, a klientów do AI jest pełno w Chinach (zaczynając od Alibaby i innego ecommerce, kończąć na Państwie, które wykorzystuje AI do niecnych celów), to myślę, że popyt będzie. Pytanie tak naprawdę jest następujące: a) czy tempo wdrażania i developowania HW jest odpowiednie i b) czy czajniki jednak na gorszym sprzęcie będą w stanie wykręcać nadal takie wyniki? (przypominam, że ilość publikacji naukowych o tematyce AI w Chinach jest wyższe niż w Stanach)

3 Likes

https://www.youtube.com/watch?v=i2lhwb_OckQ

2 Likes

myślę, że wystarczające. W końcu, zamiast pakowac dziesiątki miliadów w lepszy proces, prościej dostawic blok elektrowni. Potrzeby ‘państwowej’ serwerowni to załatwi. No chyba że będzie zmiana jakościowa i zamiast mnożałek do macierzy pojawią się jakieś poł/analogowe układy do AI lepiej symulujące neurony. Na tym polu mogą byc w plecy, bo nie mają juz takiego łatwego dostępu do hardware, aby takie pomysły realizować.

yep, bajer i tak jest bardziej w modelach, software i danych, a nie HW.

na jakis czas podziałało, po tym ‘występku’ sterowniki się poprawiły :wink:
pod X11 daje się tej nvidii używać, ale wayland to koszmar.

2 Likes

To nie jest tak, że aparat matematyczny nie jest dostosowany do analogowych układów do AI?
Tak mi się wydaje.

Przecież nie chodzi o energooszczędność układów, a o ich mocy obliczeniowej. Jest funkcja, która mówi, że w danym procesie nie wyciśniesz więcej mocy obliczeniowej, bo po prostu zabraknie miejsca. Nie oszukujmy się, przy 1000W najnowszego serwerowego CPU od Intela, nie chodzi o energooszczędność przecież.

Iterowanie po modelach - zauważ jaki jest czas trenowania ChatGPT v.4 - może być utrudnione, bo moc obliczeniowa jest ograniczona przez USA i time-to-market dla nowego modelu może być wyjątkowo długi. Miesiąc w AI, to strasznie długo, a o takich przesunięciach w deploymencie mówimy przy sankcjach.

2 Likes

“u mnie działa” i w ogóle CUDA pod linuxem śmiga aż miło, więc może to KDE/Wayland i integracja problemem?

3 Likes

zapewne, albo QT, które napędza KDE. Sie poddałem i kupiłem jakąs prosta karte AMD aby tylko desktop napędzało ;>

Czas pokaże. Czajniki moga się nie chwalić w takich tematach tylko sobie na pewno cos dziergają po cichu.
Pół roku temu słuchałem wywiadu z jakimś generałem z US Air Force, który uspokajał że nawet wykradzenie schematów niewiele da chińczykom, bo nie umieją robić monokryształów, z których potem można robić łopatki do turbin. A jakieś 2 tygodnie temu czajniki wyskoczyli z nowym silnikiem o parametrach lepszych od tego, co ma F-22. Podobnie może byc i z HW do AI.

3 Likes

Поживём - увидим!

2 Likes

A w drugą stronę? Mam już obraz i chcę go przetworzyć na model. Technologie będą te same?

To parametr bardzo słabo sprzężony z rzeczywistością.

Badałeś oba na tym samym stanowisku pomiarowym?

2 Likes

Obrazek jest 2d, model jest 3D. Do tego służy AI żeby z 2D wydobyć głębię.

2 Likes