Cum de a construi un supercomputer: 9 pași (cu imagini)

Aveți nevoie de o mașină care să poată livra sute de trilioane de calcule de puncte plutitoare pe secundă? Sau aveți nevoie de o poveste de bar despre modul în care supercomputerul din subsolul dvs. a răsturnat un întrerupător? Construirea propriului tău cluster de calcul, a.K.A. supercomputer, este o provocare oricărui expert Geek cu un weekend de timp liber și niște bani pentru a arde pot aborda. Din punct de vedere tehnic, un supercomputer modern, multi-procesor este o rețea de computere care lucrează împreună în paralel pentru a rezolva o problemă. Acest articol va descrie pe scurt fiecare pas în acest proces, concentrându-se pe hardware și software.

Pași

1. Mai întâi determină componentele hardware și resursele necesare. Veți avea nevoie de un nod de cap, cel puțin o duzină de noduri de calcul identice, un comutator Ethernet, o unitate de distribuție a energiei și un suport. Determinați cererea electrică, răcirea și spațiul necesar. De asemenea, decideți ce adresa IP doriți pentru rețelele dvs. private, ce să numiți nodurile, ce pachete software doriți instalate și ce tehnologie doriți să furnizați capabilitățile paralele de calcul (mai multe despre acest lucru mai târziu).

Deși hardware-ul este scump, toate software-urile enumerate în acest lucru how-to este gratuit și majoritatea sunt open source.
Dacă doriți să vedeți cât de repede ar fi teoretic supercomputerul dvs., utilizați acest instrument: http: // hpl-calculator.Sourceforge.net/

Imagine intitulată Construiți un supercomputer pasul 2

2. Construiți nodurile de calcul. Va trebui să asamblați nodurile de calcul sau să achiziționați servere pre-construite.

Alegeți un șasiu al serverului de calculator care maximizează spațiul, răcirea și eficiența energetică.

Sau Puteți utiliza o duzină sau astfel de servere învechite, ale căror întregi vor depăși suma părților lor, dar vă economisește o bucată de numerar considerabilă. Toate procesoarele, adaptoarele de rețea și plăcile de bază ar trebui să fie identice pentru întregul sistem pentru a juca împreună frumos. Desigur, nu uitați de RAM și Depozitare pentru fiecare nod și cel puțin o unitate optică pentru nodul capului.

Imagine intitulată Construiți un supercomputer pasul 3

3. Instalați serverele în raft. Începeți din partea de jos, astfel încât rack-ul nu este de vârf greu. Veți avea nevoie de un prieten pentru a vă ajuta cu acest lucru - serverele dense pot fi foarte grele și de îndrumare pe șinele care le țin în rack este dificil.

Imagine intitulată Construiți un supercomputer pasul 4

4. Instalați comutatorul Ethernet deasupra șasiului serverului. Luați acest moment pentru a configura comutatorul: Permiteți dimensiunile cadru Jumbo de 9000 de octeți, setați adresa IP la adresa statică pe care ați decis-o la pasul 1 și opriți protocoalele inutile de rutare, cum ar fi SMTP Snooping.

Imagine intitulată Construiți un supercomputer pasul 5

5. Instalați PDU (unitatea de distribuție a energiei electrice). În funcție de cât de mult curent pot avea nevoie de nodurile dvs. la o încărcătură maximă, este posibil să aveți nevoie de 220 de volți pentru calculul de înaltă performanță.

Imagine intitulată Construiți un supercomputer pasul 6

6. Cu totul instalat, puteți începe procesul de configurare. Linux este sistemul de operare de facto pentru clusterele HPC - nu numai că este mediul ideal pentru computere științifică, dar nu costă un lucru pe care să-l instalați la sute sau chiar mii de noduri. Imaginați-vă cât de mult ar costa instalarea ferestrelor pe toate acele noduri!

Începeți cu instalarea celei mai recente versiuni a BIOS-ului plăcii de bază și a firmware-ului, care ar trebui să fie același pe toate nodurile.

Instalați distroul preferat Linux pe fiecare nod, cu un UI grafic pentru nodul capului. Opțiunile populare includ CentOS, OpenSuse, Linux științific, Redhat și Sles.

Acest autor recomandă foarte mult utilizând distribuția clusterului Rocks. În plus față de instalarea tuturor instrumentelor necesare pentru a funcționa un cluster de calcul, rocile utilizează o metodă excelentă pentru "distribuirea" multor instanțe de la sine în noduri, utilizând rapid boot-ul PXE și procedura de "pornire a loviturii".

Imagine intitulată Construiți un supercomputer pasul 7

7. Instalați interfața de trecere a mesajelor, managerul de resurse și alte biblioteci necesare. Dacă nu ați instalat roci în pasul anterior, va trebui să configurați manual software-ul necesar pentru a permite mecanismele de calcul paralel.

Mai întâi veți avea nevoie de un sistem portabil de gestionare a bash, cum ar fi managerul de resurse de cuplu, care vă permite să desființați și să distribuiți sarcini la mai multe mașini.

Cuplu pereche cu planificatorul Cluster Maui pentru a finaliza configurarea.

În continuare va trebui să instalați interfața de trecere a mesajului, necesar pentru procesele individuale de pe nodurile computeze separate pentru a partaja aceleași date. OpenMP este un non-brainer.

Nu uitați bibliotecile de matematică multi-filetare și compilatoarele pentru a vă construi programele de computere paralele. Am menționat că trebuie să instalați doar roci?

Imagine intitulată Construiți un supercomputer pasul 8

8. Rețeaua de noduri de calcul împreună. Nodul de cap trimite sarcinile de calcul la nodurile de calcul, care la rândul lor trebuie să trimită rezultatul înapoi, precum și trimiterea de mesaje între ele. Cu atât mai repede cu atât mai bine.

Utilizați o rețea Ethernet privată pentru a conecta toate nodurile din cluster.

Nodul de cap poate, de asemenea, să acționeze ca un server NFS, PXE, DHCP, TFTP și NTP în rețeaua Ethernet.

Trebuie să separați această rețea din rețele publice, care asigură că pachetele de difuzare nu interferează cu alte rețele din LAN.

Imagine intitulată Construiți un supercomputer pasul 9

9. Testați clusterul. Ultimul lucru pe care doriți să-l faceți înainte de a elibera toată această putere de calcul pentru utilizatorii dvs. este testarea performanței. Benchmark-ul HPL (High Performance Lynpack) este o alegere populară pentru măsurarea vitezei computaționale a clusterului. Va trebui să o compilați de la sursă cu toate optimizările posibile pe care o oferă compilator pentru arhitectura pe care ați ales-o.

Trebuie, desigur, să compilați din sursă cu toate opțiunile de optimizare posibile pentru platforma dvs. De exemplu, dacă utilizați CPU-uri AMD, compilați cu Open64 cu nivelul de optimizare -0fast.

Comparați rezultatele pe Top500.ORG pentru a compara clusterul dvs. la cele mai rapide 500 de supercomputere din lume!