Cel mai bun răspuns
MPI (Message Passing Interface) este utilizat în principal în calculul paralel distribuit. Este un protocol de comunicare pentru computere paralele.
OpenMPI [ Open MPI: Open Source High Performance Computing ] este o astfel de implementare. Cealaltă implementare notabilă a MPI este MPICH [ MPICH | MPI portabil de înaltă performanță ].
Unele dintre cazurile de utilizare importante ale MPI sunt după cum urmează
- Acesta este utilizat de mai multe supercalculatoare.
- Există o creștere a tehnicilor de învățare profundă aplicate problemelor din PNL, viziune computerizată, recunoaștere a vorbirii etc., iar cercetătorii au reușit să facă progrese remarcabile în ceea ce privește performanța și scalabilitatea. Horovod [ uber / horovod ] un cadru de învățare profundă distribuit; acceptă TensorFlow, PyTorch împreună cu utilizarea OpenMPI. Cu aceasta, puteți folosi mai multe GPU-uri pe mai multe mașini pentru antrenarea mai rapidă a unui model decât antrenarea acestuia folosind un singur GPU.
Următorul link are un tutorial frumos despre MPI – Interfață de transmitere a mesajelor (MPI)