Link do artykułu: Zeszyt w cyrkle – Zarobmy.se
Tekst powstawał w innym celu, ale edukacyjnie na “jak wkręcać dzieci” czytelnikom nada się akuratnie. Postaram się wyjaśnić w sposób obrazkowy, z cyrklem, wręcz “dla dzieci” (powiedzmy, że mam kontakt ze specyficznymi dziećmi) o co w metrykach chodzi z path integral, odległością i granulacją w reżimie ultrametrycznym. Bo HMFoDG może być trudne do przełknięcia. Będzie tu oczywiście wiele uproszczeń i asumpcji, które w teorii kategorii wynikają, a nie są założeniami, ale konstrukcję metryk i przestrzeni na podstawie zbioru pominę aby nie zagmatwać. Wyjaśnienai w HMFoDG są tymi właściwymi. Skupię się na kwestii jak stosować apth integral, po co i czym…
3 Likes
Świat nadksiężycowy, inaczej niebiański, w którym zachodzi jedynie ruch kolisty Arystoteles przeczuwał filozoficznie wieki temu. Dziś matematyka, algebra i compute power dają wglądy z innych perspektyw. Tekst gęsty dla osoby spoza tej dziedziny, przeczytam jeszcze z 3 razy. Zastanawiam się na ile kierunek wart uważności i czasu.
2 Likes
Nie Ty jeden…
I to jest zaszyte pod spodem każdego modelu i jak im zrobisz autocomplete to później reasoning męczy się z uzasadnieniem dlaczego mu na topkę w sekwencji wskoczył Takashi.
Bo nie ma dostępu do własnych danych i takiej metryki.
No i maszyny z tą sensowną wiedzą o świecie (anime, Disney) robią kod, planują operacje wojskowe, rekrutacje, giełdę…
Będzie dobrze 
Najpopularniejsze materiały w necie to anime i fantasy. Po tych oczywistych, niegodnych uwagi^^
4 Likes
HMFoDG podoba mi się, dzięki za link.
znajduję modelowe wyjątki:
Full Self Driving Tesli od FSD v.12 - chyba jedyny cywilny trenowany na danych wizyjnych, z dopasowanym do celu procesem treningowym, tu cel da się prosto zdefiniować.
tulu-3.1-8b supernova - trening RLVR zamiast RLHF, tylko nie wszystko da się tym sposobem. czytam tekst w 2gim podejściu
2 Likes
Taa… mercedes robił celowniki.
To wierzchołek góry lodowej. Jak wylistowałem temporalne (wczoraj, jutro, dziś) to się wysypały rzeczy… niesmaczne. Przetestowałem na modelach, więc protestowały, że nie mogą publikować autocomplete z góry listy pasujących do tych trzech wyrazów, więc jailbreak, reasoning off, list… no i rozumiem dlaczego nie mogą, przywróciłem cenzurę ze zrozumieniem, że istnieją powody.
Jeśli więc wydaje Ci się, że te podpisy indentyfikacyjne jakie ma self drive tesli (czyli recog obj) wynikają z jakiegoś innego źródła… to ten…
Ale mam już analitykę jak do tego dochodzi (znaczy ludzie spieprzyli kolejność) i jak zrobić, żeby nie trzeba było palić wungla na cenzurę. Bo ona wynika tylko z małego błędziku w treningu.
2 Likes
zastanawianie się czy warto ten kierunek, bierze mi się z takich artykułów jak “Single cortical neurons as deep artificial neural networks” 2021 Neuron vol.109, issue 17.
Pojedyńczy biologiczny neuron z pełną morfologią dendrytyczną i receptorami jest już sam w sobie siecią neuronową, czy też wielowarstwową jednostką obliczeniową.
tu artykuł: https://www.cell.com/neuron/fulltext/S0896-6273(21)00501-8
więcej różnorodności: https://www.cell.com/neuron/home
tu trochę kodu i info w github: GitHub - SelfishGene/neuron_as_deep_net: Code behind the work "Single Cortical Neurons as Deep Artificial Neural Networks", published in Neuron 2021 · GitHub
ale jednak z modelowania tak wyewoluowanych struktur wyszły na razie LLMy
2 Likes
Zgubiłes pŁot^^, albo p-lot^^
NN jest potrzebne wyłącznie do zbadania współwystępowania pojęć w języku (wyrazów jeśli fleksja nie przeszkadza). I stworzenia ich mapy.
To że ta mapa jest dość złożona powodowało, że nie było pomysłu jak ją rozwinąć i się po niej poruszać. Stąd LLMy poruszają się po niej nieco losowo pod ostrą presją cenzury.
Cenzura nie oznacza że ktoś coś wycina, tylko są lookuptable (ładnie zawinęte przez koderów w fajne nazwy), które sprawdzają po historii tokenów we współwystępowaniu w kontekście, czy w ogóle tekst rozwija się na kierunku “do brzegu”.
Im więcej exploitów tym coraz głupsze połączenia w embedingach.
Na przykład Ur i Kush w modelu gogola wywołują referencje do zioła (dobrze, że od razu nie zamawia po geolokalizacji^^); starożytność spadła w języku na dalsze skojarzenia z takimi słowami.
Liczby takie jak “1939,1945,69” są rozgryzane w kilku wątkach. Na przykład nie w kontekście czy to dodawać, mnożyć czy jmp to line, tylko że niby jakaś wojna, i później wydarzenia 69, albo może kontekst seksualny 69, i zaczyna się egzegeza co autor wpisujący liczby miał na bezmyśli;
A wenyan od roku jest w embedingach jako wektor ataku na jailbreaka i trzeba ostro do kontekstu dołożyć, że jednak nie.
Ale całość jest zmapowana i można się po tym poruszać deterministycznie. Nie cosinesimiliarity jak do tej pory heurystykami wyssanymi z palca, tylko jest pełne rozwinięcie mapy.
Ale NN do niczego tam nie służy (chyba że do marketingu). Natomiast pozwala wytrenować na małpę do podstawowych historii po konwersacjach. Tak, żeby oszczędzić na rachunkach w locie.
2 Likes