BAIP suprojektavo unikalią aukšto našumo skaičiavimo įrenginių architektūrą, suteiksiančią galimybę greitai ir efektyviai vykdyti tyrimus dirbtinio intelekto kūrimo, neuroninių tinklų apmokymo, didelio masto skaičiavimų srityse bei kitose kūrybinėse bei tiriamosiose veiklose, kurioms atlikti reikalingi labai didelio masto skaičiavimai.
BAIP Vilniaus universiteto Matematikos ir informatikos fakultete (VU MIF) suprojektavo unikalią aukšto našumo skaičiavimo įrenginių architektūrą, suteiksiančią galimybę greitai ir efektyviai vykdyti tyrimus dirbtinio intelekto kūrimo, neuroninių tinklų apmokymo, didelio masto skaičiavimų srityse bei kitose kūrybinėse bei tiriamosiose veiklose, kurioms atlikti reikalingi labai didelio masto skaičiavimai.
Asociatyvi „Pixabay“ nuotr.
Aukšto našumo skaičiavimo sistemas bei jų komponentes šiuo metu gamina daugelis garsių pasaulinių technologijų gamintojų. Tai visiems gerai žinomos kompanijos „DellEMC“, „Lenovo“, IBM, „Fujitsu“, „Cray“, „Bull“ ir kiti. Pastaraisiais metais HPC klasteriai atnaujinami ir jų skaičiavimo našumas didinamas naudojant grafinius akseleratorius (angl. graphics processing unit), o juos gaminantys NVIDIA yra vienvaldžiai šio rinkos segmento lyderiai.
Dauguma gaminamų įrenginių, naudojant juos atskirai, yra dedikuoti sąlyginai siauro pobūdžio užduotims atlikti. Nei vienas toks įrenginys negali tobulai atitikti visų atskiros organizacijos poreikių. Populiarėjanti pasaulinė praktika – kurti šios įrangos telkinius taip, kad jie geriausiai patenkintų konkrečius kompleksinius tam tikros organizacijos poreikius. Svarbiausia ir didžiausia tokių junginių teikiama nauda yra ta, kad jie leidžia efektyviai ir greitai gauti reikiamą priemonę iškilus konkrečiam sudėtingam skaičiavimo uždaviniui. Taigi, didžiausia tokio klasterio pridėtinė vertė yra greitis ir efektyvumas, kuriuos teikia specifinės architektūros kompleksiškumas ir išbaigtumas.
Sprendimo fizinei (technologinei) daliai BAIP architektai suprojektavo kompleksinį aukšto našumo skaičiavimo klasterį, turėsiantį 1728 vnt. Intel procesorių gamintojo neakseleruotus skaičiavimo branduolius bei 20 480 vnt. NVIDIA gamintojo „Tensor“ skaičiavimo branduolių. Skaičiavimo klasteris turės daugiau negu 13 TB operatyviosios atminties. Bendras šio HPC klasterio projektuojamas skaičiavimo našumas sieks 361 TeraFLOP (angl. floating point operations per second) DP (angl. dual precision) bei 4 PetaFLOP skaičiavimo našumą giluminio mokymosi (angl. deep learning) srityje. Vertėtų paminėti, jog dabartinio klasterio TeraFLOP skaičiavimo našumai išaugs ~12 kartų.
Duomenų saugojimui suprojektuotas dviejų lygių duomenų saugojimo sprendimas, veikiantis Lustre ZFS failų sistemos pagrindu. Valdymo ir duomenų modulis turės ~20TB greitos, SSD technologija paremtos naudingos talpos, tuo tarpu visiems kitiems duomenims bus skirta ~0,8PB naudingos talpos.
Skaičiavimo bei duomenų saugojimo resursai bus apjungiami naudojant InfiniBand EDR, 100 Gb/s greitaveikos, mažo vėlinimo tinklų technologiją. Tai leis skaičiavimo bei duomenų saugojimo resursams keistis informacija 2 kartus greičiau negu dabartiniame VU MIF skaičiavimo klasteryje.
Suprojektuotos fizinės (technologinės) dalies optimaliam resursų panaudojimui bei apjungimui su kitais HPC klasteriais bus įdiegtas paslaugų valdymo, savitarnos ir apjungimo programinis modulis. Programinis sprendimas užtikrins galimybę apjungti visus aukšto našumo skaičiavimo mazgus tiek su VU priklausančiai, tiek išoriniais, ne VU priklausančiais, kitais didelio našumo mazgais. Verta paminėti, kad įdiegtas paslaugų valdymo, savitarnos ir apjungimo programinis modulis leis Vilniaus Universitetui apjungti VU turimus HPC resursus į vieną bendrą skaičiavimo resursą, taip pat dalyvauti EuroHPC ir panašiuose projektuose.
Lygiagrečiai Universitetui bus ruošiamas verslo planas, paslaugų katalogas ir sistemos apskaitos modulis. Taigi atsiras galimybė pasiūlyti rinkai pakankamai platų skirtingų technologijų paketą, jį lengvai pritaikyti kliento poreikiams, operatyviai paruošti reikiamą aplinką ir po to apskaityti. Tikimasi, kad atnaujinto ir modernizuoto VU HPC klasterio teikiamomis galimybėmis sėkmingai naudosis tiek Universiteto bendruomenė, tiek pažangūs modernūs šalies verslai.
„Įdiegtas sprendimas neabejotinai suteiks Vilniaus universitetui konkurencinį pranašumą pasaulio mokslo įstaigų tarpe. Šio projekto apimtyje įdiegsime ir integruosime pačias moderniausias pasaulinių gamintojų ateities technologijas. Mūsų pasiūlytas skirtingų gamintojų technologijų apjungimas leis efektyviai panaudoti skaičiavimo resursus, operatyviai parinkti reikalingas technologijas konkretiems uždaviniams spręsti. Neuroninių tinklų apmokymas vyks nepalyginamai sparčiau.
Pasaulyje jau esame įdiegę klimato kaitos tyrimams bei modeliavimui skirtus aukšto našumo telkinius šešiolikoje šalių. Džiugu sukauptą patirtį bei žinias parvežti ir pritaikyti savo šalyje, prisidėti prie savo šalies mokslinės bei taikomosios kūrybinės veiklos modernizacijos, manau tai yra didžiulė garbė kiekvienai brandžiai organizacijai“, – projektą komentavo BAIP Generalinis direktorius Gytis Umantas.
Atnaujinamam HPC klasteriui panaudoti „DellEMC“, IBM, NVIDIA, „Mellanow“ gamintojų produktai ir technologijos.
Kiti gamintojai ir technologijos: „Peli“, „Cisco“, APC, „Comex“, „Schneider Electric“, „Raritan“, WALDUR, „Network Critical“, „Lustre“, CUDA, „MaltegoCE“, „Wireshark“, „ElasticSearch“, „Sleuthkit-Autopsy“, „clamAV“, „Regripper“, MISP, „Logstash“, „Kibana“, „HashCat“ ir kiti.
Vilniaus universiteto mokslininkai aukšto našumo skaičiavimo įrenginiais naudojasi jau daugiau nei dešimt metų. Numatyta, kad būsimasis klasteris bus bent 10 kartų našesnis. Projektą užbaigti planuojama kitų metų pavasarį.
