Meilleure réponse
MPI (Message Passing Interface) est principalement utilisé dans le calcul parallèle distribué. Cest un protocole de communication pour les ordinateurs parallèles.
OpenMPI [ Open MPI: Open Source High Performance Computing ] est une de ces implémentations. Lautre implémentation notable de MPI est MPICH [ MPICH | MPI portable hautes performances ].
Certains des cas dutilisation importants de MPI sont les suivants
- Il est utilisé par de nombreux supercalculateurs.
- Il y a une vague de techniques dapprentissage en profondeur appliquées à des problèmes de PNL, de vision par ordinateur, de reconnaissance vocale, etc. et les chercheurs ont été en mesure de faire des progrès remarquables en termes de performances et dévolutivité. Horovod [ uber / horovod ] un cadre dapprentissage en profondeur distribué; prend en charge TensorFlow, PyTorch ainsi que lutilisation dOpenMPI. Avec celui-ci, on peut utiliser plusieurs GPU sur plusieurs machines pour un entraînement plus rapide dun modèle que de lentraîner à laide dun seul GPU.
Le lien suivant contient un joli tutoriel sur MPI – Interface de transmission de messages (MPI)