Melhor resposta
MPI (Message Passing Interface) é usado principalmente em computação paralela distribuída. É um protocolo de comunicação para computadores paralelos.
OpenMPI [ Open MPI: Open Source High Performance Computing ] é uma dessas implementações. A outra implementação notável de MPI é MPICH [ MPICH | MPI portátil de alto desempenho ].
Alguns dos casos de uso importantes de MPI são os seguintes
- Isso é usado por muitos supercomputadores.
- Há uma onda de técnicas de aprendizado profundo sendo aplicadas a problemas de PNL, visão computacional, reconhecimento de fala, etc., e os pesquisadores têm conseguido fazer um progresso notável no que diz respeito ao desempenho e escalabilidade. Horovod [ uber / horovod ] uma estrutura de aprendizagem profunda distribuída; suporta TensorFlow, PyTorch junto com o uso de OpenMPI. Com isso, é possível usar várias GPUs em várias máquinas para um treinamento mais rápido de um modelo do que treiná-lo usando uma única GPU.
O link a seguir tem um bom tutorial sobre MPI – Interface de passagem de mensagens (MPI)