Migliore risposta
MPI (Message Passing Interface) viene utilizzato principalmente nel calcolo parallelo distribuito. È un protocollo di comunicazione per computer paralleli.
OpenMPI [ Open MPI: Open Source High Performance Computing ] è una di queste implementazioni. Laltra importante implementazione di MPI è MPICH [ MPICH | MPI portatile ad alte prestazioni ].
Alcuni dei casi duso importanti di MPI sono i seguenti
- Viene utilizzato da molti supercomputer.
- Cè un aumento delle tecniche di apprendimento profondo applicate a problemi di PNL, visione artificiale, riconoscimento vocale ecc. ei ricercatori sono stati in grado di fare notevoli progressi in termini di prestazioni e scalabilità. Horovod [ uber / horovod ] un framework di apprendimento profondo distribuito; supporta TensorFlow, PyTorch insieme alluso di OpenMPI. Con questo è possibile utilizzare più GPU su più macchine per un addestramento più rapido di un modello rispetto alladdestramento utilizzando una singola GPU.
Il seguente link contiene un bel tutorial su MPI – Message Passing Interface (MPI)