Mejor respuesta
MPI (Message Passing Interface) se utiliza principalmente en computación paralela distribuida. Es un protocolo de comunicación para computadoras paralelas.
OpenMPI [ Open MPI: Computación de alto rendimiento de código abierto ] es una de esas implementaciones. La otra implementación notable de MPI es MPICH [ MPICH | MPI portátil de alto rendimiento ].
Algunos de los casos de uso importantes de MPI son los siguientes
- Este es utilizado por muchas supercomputadoras.
- Hay un aumento en las técnicas de aprendizaje profundo que se están aplicando a problemas de PNL, visión por computadora, reconocimiento de voz, etc. y los investigadores han logrado un progreso notable en lo que respecta al rendimiento y la escalabilidad. Horovod [ uber / horovod ] un marco distribuido de aprendizaje profundo; admite TensorFlow, PyTorch junto con el uso de OpenMPI. Con este se pueden hacer uso de múltiples GPU en múltiples máquinas para un entrenamiento más rápido de un modelo que entrenarlo usando una sola GPU.
El siguiente enlace tiene un buen tutorial sobre MPI – Interfaz de paso de mensajes (MPI)