Saniyədə yüzlərlə trilyon üzən nöqtə hesablaması edə bilən bir maşına ehtiyacınız varmı? Yoxsa zirzəminizdəki super kompüterin açarı necə çevirdiyinə dair bir bar hekayəsinə ehtiyacınız varmı? Yüksək Performanslı Hesablama klasterinizi (superkompüter) qurmaq, bir həftə sonu boş vaxt və yandırmaq üçün bir az pul olan hər hansı bir mütəxəssisin problemidir. Texniki baxımdan, müasir, çox prosessorlu super kompüter, bir problemi həll etmək üçün paralel olaraq işləyən kompüterlər şəbəkəsidir. Bu məqalə, hardware və proqram təminatına diqqət yetirərək prosesin hər bir addımını qısaca təsvir edəcək.
Addımlar
Addım 1. Əvvəlcə lazım olan hardware komponentlərini və qaynaqları müəyyənləşdirin
Bir baş düyünə, ən azı onlarla eyni hesablama qovşağına, bir Ethernet açarına, güc paylayıcı qurğuya və rəfə ehtiyacınız olacaq. Elektrik ehtiyacını, soyutma və lazım olan yerləri təyin edin. Şəxsi şəbəkələriniz üçün hansı IP ünvanına ehtiyac duyduğunuza, qovşaqlara nə ad verəcəyinizə, hansı proqram paketlərinin quraşdırılmasını və paralel hesablama qabiliyyətini təmin etmək istədiyinizə qərar verin (bu barədə daha sonra).
- Donanım bahalı olsa da, bu üsulda sadalanan bütün proqramlar pulsuzdur və əksəriyyəti açıq mənbəyidir.
- Super kompüterinizin nəzəri cəhətdən nə qədər sürətli olacağını görmək istəyirsinizsə, bu vasitədən istifadə edin:
Addım 2. Hesablama qovşaqlarını qurun
Hesablama qovşaqlarını yığmalı və ya əvvəlcədən qurulmuş serverlər əldə etməlisiniz.
- Məkanı, soyutma və enerji səmərəliliyini artıran bir kompüter server şassisi seçin.
- Yoxsa bütövlükdə hissələrinin cəmini üstələyəcək, ancaq sizə külli miqdarda pul qənaət edəcək bir çox və ya çox köhnəlmiş serverdən istifadə edə bilərsiniz. Bütün prosessorlar, şəbəkə adapterləri və anakartlar, bütün sistemin birlikdə gözəl oynaya bilməsi üçün eyni olmalıdır. Əlbəttə ki, hər bir node üçün RAM və saxlama və baş node üçün ən azı bir optik sürücü haqqında unutmayın.
Addım 3. Serverləri rafa quraşdırın
Altdan başlayın, beləliklə rafın üstü ağır deyil. Bu işdə sizə kömək edəcək bir dostunuza ehtiyacınız olacaq - sıx serverlər çox ağır ola bilər və onları rafa tutan relslərə yönləndirmək çətindir.
Addım 4. Ethernet açarını server şassisinin üstünə quraşdırın
Anahtarı konfiqurasiya etmək üçün bu anı ayırın: 9000 baytlıq jumbo çərçivə ölçülərinə icazə verin, IP ünvanını 1 -ci addımda qərar verdiyiniz statik ünvana təyin edin və SMTP Snooping kimi lazımsız yönləndirmə protokollarını söndürün.
Addım 5. PDU (Güc Dağıtım Birimi) qurun
Düyünlərinizin maksimum yükdə nə qədər cərəyana ehtiyac ola biləcəyindən asılı olaraq, yüksək performanslı hesablamalar üçün 220 volta ehtiyacınız ola bilər.
Addım 6. Hər şey quraşdırıldıqdan sonra konfiqurasiya prosesinə başlaya bilərsiniz
Linux, HPC qrupları üçün faktiki olaraq ƏSdir - nəinki elmi hesablama üçün ideal mühitdir, həm də yüzlərlə, hətta minlərlə qovşaqda quraşdırmaq heç bir xərc tələb etmir. Bütün bu qovşaqlara Windows yükləməyin nə qədər başa gələcəyini düşünün!
- Bütün qovşaqlarda eyni olmalı olan anakart BIOS və firmware -in son versiyasını quraşdırmağa başlayın.
- Baş düyün üçün qrafik bir istifadəçi interfeysi ilə hər bir qovluğa istədiyiniz linux paylamasını quraşdırın. Populyar seçimlərə CentOS, OpenSuse, Scientific Linux, RedHat və SLES daxildir.
- Bu müəllif Rocks Cluster Distribution istifadə etməyi çox tövsiyə edir. Hesablama klasterinin işləməsi üçün lazım olan bütün vasitələri quraşdırmaqla yanaşı, Rocks PXE açılışından və Red Hat 'Kick Start' prosedurundan istifadə edərək bir çox nümunəni çox tez qovşaqlara 'paylamaq' üçün əla bir üsuldan istifadə edir.
Addım 7. Mesaj ötürmə interfeysini, resurs menecerini və digər lazımi kitabxanaları quraşdırın
Əvvəlki addımda Rocks qurmadınızsa, paralel hesablama mexanizmlərini işə salmaq üçün lazımi proqramı əl ilə qurmalısınız.
- Əvvəlcə vəzifələri parçalamağa və birdən çox maşına paylamağa imkan verən Torque Resource Manager kimi portativ bash idarəetmə sisteminə ehtiyacınız olacaq.
- Quraşdırmanı tamamlamaq üçün Maui Cluster Scheduler ilə Torku birləşdirin.
- Bundan sonra, ayrı -ayrı hesablama qovşaqlarında fərdi məlumatların eyni məlumatları paylaşması üçün lazım olan mesaj ötürmə interfeysini quraşdırmalısınız. OpenMP heç bir iş görmür.
- Paralel hesablama proqramlarınızı qurmaq üçün çox iş parçalı riyaziyyat kitabxanalarını və tərtibçiləri unutmayın. Yalnız Rocks quraşdırmalı olduğunuzu qeyd etdimmi?
Addım 8. Hesablama qovşaqlarını bir -birinə bağlayın
Baş düyün hesablama tapşırıqlarını hesablama qovşaqlarına göndərir, bu da nəticəni geri göndərməli və bir -birinə mesaj göndərməlidir. Nə qədər sürətli olsa, bir o qədər yaxşıdır.
- Klasterdəki bütün qovşaqları birləşdirmək üçün xüsusi bir Ethernet şəbəkəsindən istifadə edin.
- Baş düyün eyni zamanda Ethernet şəbəkəsi üzərindən NFS, PXE, DHCP, TFTP və NTP server kimi də çıxış edə bilər.
- Bu şəbəkəni ümumi şəbəkələrdən ayırmalısınız ki, bu da yayım paketlərinin LAN -dakı digər şəbəkələrə müdaxilə etməməsini təmin edir.
Addım 9. Çoxluğu yoxlayın
Bütün bu hesablama gücünü istifadəçilərinizə verməzdən əvvəl edə biləcəyiniz son şey, performansını yoxlamaqdır. HPL (Yüksək Performanslı Lynpack) benchmarkı, klasterin hesablama sürətini ölçmək üçün məşhur bir seçimdir. Seçdiyiniz memarlıq üçün tərtibçinizin təklif etdiyi bütün mümkün optimallaşdırmalarla onu mənbədən tərtib etməlisiniz.
- Əlbəttə ki, platformanız üçün mümkün olan bütün optimallaşdırma variantları ilə mənbədən tərtib etməlisiniz. Məsələn, AMD prosessorlarından istifadə edirsinizsə, Open64 ilə -0fast optimallaşdırma səviyyəsi ilə tərtib edin.
- Çoxluqlarınızı dünyanın ən sürətli 500 super kompüteri ilə müqayisə etmək üçün nəticələrinizi TOP500.org saytında müqayisə edin!
Video - Bu xidmətdən istifadə edərək bəzi məlumatlar YouTube ilə paylaşıla bilər
İpuçları
- Həqiqətən yüksək şəbəkə sürətləri üçün InfiniBand şəbəkə interfeyslərinə baxın. Premium qiymətləri ödəməyə hazır olun.
- IPMI, IP üzərindən KVM, uzaqdan enerji dövriyyəsi və daha çoxunu təmin etməklə böyük bir klasterin idarə olunmasını asanlaşdıra bilər.
- Düyünlərdəki hesablama yüklərini izləmək üçün Ganglia'dan istifadə edin.
