- Rozproszone poszukiwanie fal grawitacyjnych
- Przeczytaj więcej o projekcie Einstein @ home
- Testy zapisu i odczytu Intel Optane SSD
- Optymalizacja algorytmów w dziedzinie elektrodynamiki obliczeniowej
- Zamiast zawarcia
Na początku lipca rozpoczęliśmy testowanie dysków SSD Intel Optane za darmo i opublikowaliśmy szczegółowy artykuł na temat ich możliwości i korzyści w naszym wpis na blogu .
Wśród tych, którzy brali udział w testach, były bardzo interesujące projekty, w tym związane z nauką.
Poniżej rozważamy przykłady wykorzystania dysków w dziedzinie obliczeń naukowych.
Rozproszone poszukiwanie fal grawitacyjnych
Ta sprawa została napisana we współpracy z Aleksandrem Winogradowem, NPF Socium, Niżny Nowogród.
Konfiguracja serwera z SSD Intel Optane była idealna do rozwiązania problemu Einstein @ home - jest to rozproszone poszukiwanie fal grawitacyjnych. Ten projekt wymaga pamięci, a jeśli to nie wystarczy lub jest powolny, wówczas obliczanie jednostek zwalnia: zamiast 12 godzin trwa kilka dni. Na dostarczonym serwerze test przebiegał bez wahania: maksimum to 18 godzin.
Przy okazji, w tym roku Barry Barish, Rainer Weiss i Kip Thorn otrzymali „za ich decydujący wkład w detektor LIGO i obserwację fal grawitacyjnych”.
Przeczytaj więcej o projekcie Einstein @ home
Einstein @ Home jest jednym z projektów na platformie BOINC zaprojektowanym do przetwarzania rozproszonego, które można uruchomić na prawie każdym z istniejących procesorów, a entuzjaści uruchamiają go na tym, co mają robić.
Sam projekt zajmuje się przetwarzaniem danych z detektora fal grawitacyjnych LIGO i, w przeciwieństwie do SETI @ Home, z którego wszystkie obliczenia rozproszone na świecie rozpoczęły się w 1999 r., Wymaga dużo pamięci - 1,5 gigabajta na strumień. Oznacza to, że nie będziesz szukał fal grawitacyjnych w telefonie ani na laptopie domowym.
Platforma BOINC umożliwia automatyzację obliczeń:
- ustawić maksymalne obciążenie procesora dla zadań BOINC i ograniczyć obciążenie procesora dla innych zadań;
- skonfiguruj liczbę wątków procesora do użycia;
- ustaw czas uruchamiania zadań;
- wybierz, jaki ruch ma zostać użyty;
- Zachowane jest nawet wsparcie połączenia przez linię telefoniczną za pośrednictwem zwykłego modemu.
Do badania procesora z bardzo dużą liczbą rdzeni jest to idealne narzędzie.
Przez tydzień dla Einstein @ home można było w pełni obliczyć ponad 300 jednostek. Dla porównania na innej maszynie w ciągu 24 dni ledwo udało mi się obliczyć cztery, reszta zniknęła.
W 1999 roku zobaczyłem artykuł w Computerra na temat SETI @ Home. Byłem zainteresowany, próbowałem go uruchomić. Nic się nie stało: nie ciągnęło. Okazało się, że dołączy do niego wiosną 2001 roku, po nabyciu jednego z pierwszych Celeronów.
Interesowałem się science fiction prawie od urodzenia, kosmosu i poszukiwania nowych - od 1983 roku (jak się wydaje) roku, kiedy film „Hangar-18” był pokazywany na pierwszym kanale. A o SETI dowiedziałem się o tym samym czasie z programu „Oczywiste-niewiarygodne” z Kapitą. Była krótka historia projektu CETI, od którego wszystko się zaczęło, oraz wyjaśnienie wszystkich zmiennych równania Drake'a. Potem znalazł zarówno książkę Szkłowskiego, jak i materiały z konferencji w 1970 r. W Byurakan, gdzie sformułowano „sto miliardów dolarów w poszukiwaniu inteligencji - nie tak dużą”.
Ale myśleli tak w 1970 roku. W 1999 roku nie było ani Maski Ilony, ani ISS. Tylko „Mir” obrócił koła wokół planety, a „Voyagery” poleciały do Plutona. A finansowanie nawet najpoważniejszych programów kosmicznych na całym świecie dążyło do zera. I tutaj jest całkowicie frywolna sprawa - kilku uczniów napisało wygaszacz ekranu, który nie tylko rysuje rury lub gwiazdki, ale wykorzystuje dane z radioteleskopu w Arecibo jako podstawę do zdjęcia! Z tym poważnym wygaszaczem ekranu zaczęły się wszystkie obecne technologie chmurowe, blockchain i inne rozproszone matematyki. Nawet korzystanie z kart wideo do obliczeń matematycznych zostało również rozpoczęte na platformie BOINC.
Niemal natychmiast okazało się, że pod względem całkowitej (połączonej) mocy słabsze komputery entuzjastów przewyższyły najlepsze dostępne w tym czasie superkomputery. Naukowcy zainteresowali się, było wiele projektów obliczeniowych rozproszonych, stworzono je, aby nimi zarządzać. Od tego czasu miliony samochodów wzięły udział w poszukiwaniu bozonu Higgsa (LHC @ Home) oraz w wychwytywaniu fal grawitacyjnych (Einstein @ Home), a nawet pomogły stworzyć trójwymiarową mapę galaktyki (MilkyWay @ Home).
Ale najważniejsze dla mnie pozostaje projekt SETI @ Home. Najbardziej niepoważny i nieudany, ale pierwszy projekt, który to wszystko rozpoczął. Teraz projekt ma ciężkie czasy - ludzie z potężnymi maszynami przechodzą do górniczej kryptowaluty, a teleskop w Arecibo został zamknięty kilka lat temu (Amerykanie mają wydatki na naukę w budżecie również nie jest szczególnie popularnym artykułem), a 21 września radioteleskop został całkowicie wyłączony Huragan Maria. Ale projekt nadal pozostaje na czołowych pozycjach - teraz na przykład obliczane są dane o bardzo interesującym systemie, a platforma BOINC pozostaje najpotężniejszym superkomputerem.
Testy zapisu i odczytu Intel Optane SSD
W przypadku Intel Optane, Alexander przeprowadził testy na głębokości 16 i 32 za pomocą narzędzia fio (tylko niektóre testy zostały przeprowadzone dla HDD, ponieważ trwają one o rząd wielkości dłużej niż dla SSD).
Test odtwarza sytuację pełnego dysku z określoną długością kolejki i mierzy wszystkie parametry.
W sumie przeprowadzono trzy testy, wyniki zestawiono:
czas pracy testowej, msec Odczyt Zapis Odczyt + Zapis jodku = 16 jod = 32 jod = 16 jod = 32 jod = 16 jod = 32 HDD - 1 850 557 4 577 666 - - - SSD 299 688 481 744 259 161 512 864 R: 378001, W: 474573 R: 431930, W: 498782
średnie opóźnienie dysku (clat), msec Odczyt zapisu Odczyt + zapis jodła = 16 jod = 32 jod = 16 jod = 32 jod = 16 jod = 32 HDD - 496,75 614,54 - - - SSD 49,50 163,47 42,99 174,08 R: 62,38, W : 78,37 R: 146,62, W: 169,36
Gdy dysk twardy nie poradzi sobie z zadaniem, już wydając opóźnienia prawie pół sekundy na każde żądanie, opóźnienie SSD pozostaje na 0,2 sekundy.
Potem postanowiłem po prostu pobrać i skopiować 150-gigabajtowy plik z każdego urządzenia do siebie, łącznie z samym sobą. A oto wynik (w minutach i sekundach). Okazało się raczej testem całego serwera, a tym, co mnie najbardziej zaskoczyło, nie był czas kopiowania z SSD, ale szybkość działania zwykłych dysków w spokojnym środowisku.
o testowaniu.
Optymalizacja algorytmów w dziedzinie elektrodynamiki obliczeniowej
Sprawa ta została napisana we współpracy z Wiaczesławem Kizimenko, ns NCC 1.6, Instytut Badawczy BSUIR, Mińsk.
W miesiącach, które upłynęły od czasu prezentacji, pojawiła się dość duża liczba recenzji i profesjonalnych testów poświęconych ocenie wydajności SSD Intel Optane. Ale zawsze przyjemniej jest „trzymać w rękach” nowość, stosować ją do rozwiązania konkretnego problemu. I ta okazja została życzliwie dostarczona przez Selectel.
Wystarczająco duża liczba problemów związanych z modelowaniem różnych procesów fizycznych sprowadza się do rozwiązania układów liniowych równań algebraicznych (na przykład,
analiza lepkiego nieściśliwego przepływu płynu w aerodynamice). W procesie optymalizacji stosowanych przez nas algorytmów osiągamy znaczne skrócenie czasu modelowania - poprzez równoległe wykorzystanie tych algorytmów, przy użyciu systemów wieloprocesorowych lub specjalnych kart wideo obsługujących technologię CUDA lub OpenCL.
W procesie rozwiązywania układu równań powstaje problem przechowywania macierzy o wysokiej rozdzielczości na dysku twardym. Ci, którzy zajmują się symulacją dowolnych procesów fizycznych, wiedzą, że wydajność dysków twardych zwykle staje się jednym z wąskich gardeł.
Często taka matryca może być wielokrotnie wykorzystywana do dalszych obliczeń lub optymalizacji symulowanego urządzenia. Mówiąc prosto - po optymalizacji wszystkich algorytmów, jak to możliwe, szkoda tracić czas na zapisywanie danych.
Podstawowy algorytm liczbowy opiera się na założeniu, że oryginalny obiekt (na przykład antena mikropaskowa) jest podzielony na kilka elementarnych segmentów.
Mierzono całkowity czas wymagany do zapisu i odczytu bloków macierzy o różnych rozmiarach.
W rzeczywistych problemach zapisujemy macierze zawierające współczynniki równań na dysku. W rzeczywistości są to tablice podwójnych zmiennych. Aby przyspieszyć proces testowania, wygenerowałem takie tablice, wypełniłem je losowymi podwójnymi. Następnie zmierzono całkowity czas poświęcony na pisanie i czytanie takiej tablicy danych.
Takie pomiary zależności czasu w czasie (podczas zapisywania danych na Intel Optane w porównaniu do Intel SSD SC2BB48) na wielkość zapisanych macierzy zostały zrobione dla zwykłego SSD i dla Intel Optane SSD.
W związku z tym poniższy rysunek przedstawia wykres pokazujący, ile razy dysk Intel Optane SSD wykonał to zadanie szybciej niż dysk SSD (czyli wynik podzielenia czasu w milisekundach spędzonego przez dysk SSD na czas spędzony przez procesor Intel Optane).
Testy przeprowadzono na serwerze z procesorem Intel E5-2630v4, Intel Optane DC P4800X (375 GB), Intel SSD SC2BB48 (480 GB), 64 GB pamięci RAM.
Z wykresu na rysunku widać, że przy wielkości bloku macierzy utrzymywanej do 110 MB, dysk SSD Intel Optane jest prawie 2 razy szybszy niż konwencjonalny dysk SSD, osiągając przyspieszenie w niektórych punktach (2 MB) o 3,25 razy.
Wyniki sugerują, że nowy dysk SSD Intel Optane zainteresuje nie tylko konsumentów usług hostingowych, ale także specjalistów zajmujących się przetwarzaniem i przechowywaniem dużych ilości danych, modelowaniem, prognozowaniem różnych procesów.
Zamiast zawarcia
Jeśli masz inne ciekawe pomysły dotyczące przypadków użycia - zapraszamy do testowania - akcja wciąż trwa, a każdy z was może wziąć udział ( bezpłatne testy dysków SSD Intel Optane ).
Również w programie Selectellab Możesz przetestować inne nowe przedmioty.
