Spalacze czasu

Jako, że nie znalazłem odpowiedniego tematu, lub też za płytko kopałem to zakładam nowy do którego proponuję wrzucać wszelkiej maści ciekawostki techniczne i inne spalacze czasu.

3 Likes

Jak ktoś pamięta z “Łowcy androidów” https://www.youtube.com/watch?v=qHepKd38pr0
to poniżej wrzucam stronę projektu, gdzie taka zabawka oparta na sieciach neuronowych działa nawet lepiej niż w Łowcy:
https://smerf-3d.github.io/
Tutaj teoria:
https://www.matthewtancik.com/nerf

5 Likes

Javelin Missile guidance computer
part 1:
https://www.youtube.com/watch?v=11_5TB0-lNw
part 2:
https://www.youtube.com/watch?v=5JRbsv3TXt8

Gościu na swoim kanale ma też inne ciekawe wynalazki.

2 Likes

Prompt Injection attack against LLM-integrated Applications

1 Like

mal - Make a Lisp

1. Mal is a Clojure inspired Lisp interpreter
2. Mal is a learning tool
Each implementation of mal is separated into 11 incremental, self-contained (and testable) steps that demonstrate core concepts of Lisp. The last step is capable of self-hosting (running the mal implementation of mal). See the make-a-lisp process guide.

Interpreter edukacyjny do lispa i budowania kompilatora ogólnie.

1 Like

Robie cos takiego.
wget -O /dev/null https://speedtest4.as35518.net/files/1000GB.zip
jak myslicie, kiedy provider sie wurwi? bo mam tu kilka dyskow 22Tb i sprawdzam jak idzie. Idzie na 700MB/s max. majac 10Gbit symetryka minus protokol narzutu to powinno byc lepiej cos kolo 8,3Gbit

2 Likes

Jeśli masz IP dynamicznie przydzielane to zależy jaki jest cykl odświeżania. Kiedyś w neostradzie ok.2 w nocy było zrywanie połączeń i przydzielanie IP na nowo, właśnie w celu zabicia wszelkiej maści “nieskończonych” strumieni danych.
A poza tym co ma się pienić? Najwyżej przytnie Ci na przepustowości. Mogą też mieć założone ograniczenie przepustowości dla jednego połączenia.
Spróbuj aria2 zamiast wget,

aria2c -x 16 [url] #where 16 is the number of connections

gdzie możesz wymusić więcej niż jedno połączenie równoległe do ściągania.

1 Like

do mnie kiedys zadzwonili z networm management center ze albo przestaje zabawy albo …prawnik bedzie za abuse.
Lacze jest XGS-PON wiec best effort.
Sciaganie z zewnatrz niewiele daje bo nie ma takiego peeringu i wymiany ruchu. Serwer ten caly ma 5Gbit/s.
Przyciecie bedzie na bank najpierw dynamiczne, na XGS-PON mam do 64 userow na jednym porcie wiec…wurwia sie jak netflix bedzie dzialal slabo.

1 Like

jeden strumień 4k netflixa to 17Mbs, 4 urządzenia na konto => 68Mbs * 64userów = 4.25Gbs … dużo jeszcze zostaje :wink:

1 Like

pytanie czym sa podpieci i jaki jest szkielet, w XGS-PON da sie podpiac i 128 juzerow na port.
Z proof.ovh.net idzie max 60MB/s
Szukam jakiegos cogenta, tiscali.net telecom italia czy cos co ma dobr epunkty styku i peering.

1 Like

jeśli o stress-test Twoich dysków chodzi to możesz użyć komendy “dd”:

dd if=/dev/zero of=/gdzieś/na/twoim/twardzielu/test.file bs=1M count=1024

w ten sposób zapisujesz zerami plik na twardzielu który sobie ustawiłeś w wywołaniu komendy “dd” wykorzystując do zapisu 1024 paczki danych o rozmiarze 1 MB każda. W efekcie zapiszesz 1 GB danych na dysk twardy.

A jeśli chcesz uzyskać gotowe statystyki to wstaw wywołanie “dd” do polecenia “time” jako argument:

time dd if=/dev/zero of=/gdzieś/na/twoim/twardzielu/test.file bs=1M count=1048576

W ten sposób zapiszesz zerami plik /gdzieś/na/twoim/twardzielu/test.file o wielkości 1 TB.

Twój provider grzecznie Ci podziękuje a twój komputer się spoci ujawniając realną wydajność lokalnej warstwy I/O podczas zapisu.

Co do dysków jako takich: pod linuksem używa się “LVM” do zarządzania przestrzenią dyskową. Jeśli zależy Ci na sumarycznej ilości miejsca do pracy to fizyczne dyski a’ 22 TB konfigurujesz poprzez LVM. LVM prezentuje systemowi operacyjnemu jeden dysk logiczny złożony z iluśtam dysków fizycznych.

Na przykład pięć twardzieli po 22 TB każdy podpiętych pod i zarządzanych przez LVM zostanie uznane przez jądro linuksa za jeden dysk o pojemności jakichś 107 TB mniej więcej, przy założeniu że realna pojemność dysku równa jest jego pojemności nominalnej.

To nie jest raid lecz jeden dysk logiczny zarządzany przez lvm i rozproszony po pięciu fizycznych twardzielach. Można to porównać do RAID-0 ale LVM zżera trochę miejsca na twardzielach na wewnętrzne dane.

Po założeniu dysku logicznego zakładasz na nim partycje, formatujesz je i konfigurujesz w /etc/fstab ale to już temat na następny raz.

3 Likes

pytanie w przypadku dev/nul - gdzie tymczasowo te gigabajty sa zapisywane/buforowane - sciagajac plik 1000MB - w RAMie (mam 128GB) czy jednak w cache dysku TLC…
bo jesli one sa w cache dysku to pare takich eksperymentow i padnie mi SSD M.2 i …znowu odkrecanie jak i wyciaganie etc…

1 Like

tam gdzie zdecydujesz: odpal sobie na konsoli polecenie

man dd

i poszukaj w nim dokumentacji do opcji “oflag”. Możesz ustawić jej wartość na “direct” omijając lokalny cache systemu operacyjnego, jeśli chcesz.

Możesz również odpuścić sobie polecenie “time” i zacząć pracować z opcją “status” polecenia “dd”.
Wtedy zamiast statystyki po zakończeniu zapisu polecenie “dd” wypluwać Ci będzie statystyki zapisu danych na konsolę co sekundę podczas pracy.

Flaga “status” polecenia “dd” ma tę zaletę że podczas transferu doskonale widać kiedy linux zapisuje do cache’u twardziela (wyniki transferów są miodzio). Po przepełnieniu cache’u twardziela statystyki wypluwane przez “dd” na konsolę co sekundę spadają i w efekcie dostajesz wyniki gołego transferu danych z procesora na talerze dysku.

Bajer polega na tym żeby podczas testów nie przeciążyć systemu operacyjnego wielkością pojedynczej paczki danych (dlatego ograniczenie do 1 MB) za to pracować z ilością paczek sterowaną tak żeby przeciążyć cache twardziela jak najszybciej.

RAM niewykorzystywany przez programy przydzielany jest w linuksie do buforów. Po wyczerpaniu buforów system operacyjny może zacząć pracować z partycją “swap” twojego twardziela w roli rozszerzenia RAMu. Wtedy linux przestaje odpowiadać bo dysk jest o rzędy wielkości wolniejszy od RAMu i użytkownik zaczyna kląć.

Artykuł o zarządzaniu pamięcią w linuksie.

Pisałeś że zdaje się masz 64 GB RAMu.

Czyli żeby zatkać Twój komputer wystarczy że użyjesz opcji
bs=1099511627776 count=1
w dd niekorzystając z flagi ‘oflag=direct’.

Linuks spróbuje zbuforować 1 TB danych, zużyje RAM, zużyje SWAP i padnie.
Powtórzysz to ćwiczenie wystarczająco często to padnie Ci SSD.

3 Likes

malpa dostala brzytwe mowie o mnie.
a takie cos o kosztach transferu
W Europie 0,01 USD za gigabajt, czyli sciagajac 1000GB robi sie 10,24 USD kosztow.

Jak to w praktyce wyglada bo jak ja sciagne 60x plik 1000GB czy oznacza to ze moj dostawca internetu do mnie doplaca, czy stawki za transfer ruchu sa inne? O rzedy wielkosci nizsze?

Bo moj nowy provider ma cos takiegow warunkach umowy :slight_smile:
3. Fair Use Policy
Die Internet-Abos für Privatkunden sind für den normalen Eigengebrauch bestimmt. Init7
behält sich das Recht vor, die Leistungserbringung für Anschlüsse, deren Datenvolumen in
einem Zeitraum von 4 Wochen 0.5 Petabyte (500 Terabyte) übersteigt, temporär oder
dauerhaft einzuschränken oder einzustellen, respektive eine andere geeignete Massnahme zu
ergreifen.

Init7 rezerwuje sobie prawo temu, kto w 4 tygodnie pobierze wiecej niz 500 Terabajtow - czasowo lub na stale ograniczyc albo zaprzstac, albo wzglednie inne odpowiednie czynnosci podjac wobec takowego kleinta…

Kupilem nowa karte sieciowa na SFP28 i wstecznie kompatybilnie bedzie kabel SFP+ do jej portu na 10Gbit drugiego i moj switch QNAP…

2 Likes

A co Ty będziesz przerzucać na tych 10Gbps? Tak z ciekawoáci pytam :slight_smile:
Stawiasz własną maszynę do offlinenowego LLM’a?

1 Like

nie 10Gbit/s - to juz od lat mam - SFP+ i QNAP i karty odpowiednie na SFP+ oraz Cat7 Ethernet.

Teraz jest upgrade z XGS-PON na 25GPON, bedzie symetryczne 25Gibabitow w gore i dol.

To sprawia, ze czuje, jakbym mial dluzszego i grubszego.

4 Likes

I jaka jest różnica między 10G a 25G? Czy pingi się skróciły?
Zastanawiam się co trzebaby zasysać, aby wypultać 500TB w 4 tygodnie, czyli 125TB w tydzień… 760GB w godzinę… 216MB w sekundę… 1.69Gbps link do serwera…
Ktoś ma pomysly jak tyle danych przepalić?

1 Like

Postawić darmowy i ogólnodostępny VPN w jurysdykcji poza EU? Węzeł cebuli? Inne P2P?

3 Likes

wiesz, dyski ssd m.2 sa w wiekszosci TLC. Sam zapis takowych danych …zniszczy komorki dyskow …
QNAP i Synology robia serwery NAS, tam mozna wlozyc i 10 dyskow SATA3 w RAID ale co to zmienia? Latencja dyskow talerzowych tez jest a i…maja takze ograniczenie na przyklad serwerowe dyski enterprise Western Digital 24Tb ma 550TB/Year no i ma laczte SATA3 550 Megabajtow w warunkach laboratoryjnych.

Do takiej zabawy potrzeba dyskow chyba takich kosztujacych tyle co tanie auto uzywane

2 Likes