Najlepsza odpowiedź
MPI (Message Passing Interface) jest używany głównie w rozproszonym przetwarzaniu równoległym. Jest to protokół komunikacyjny dla komputerów równoległych.
OpenMPI [ Open MPI: Open Source High Performance Computing ] jest jedną z takich implementacji. Inną godną uwagi implementacją MPI jest MPICH [ MPICH | Wysokowydajny przenośny MPI ].
Oto kilka ważnych przypadków użycia MPI
- Jest używany przez wiele superkomputerów.
- Obserwuje się gwałtowny wzrost wykorzystania technik głębokiego uczenia się do problemów w NLP, wizji komputerowej, rozpoznawaniu mowy itp., a naukowcy byli w stanie poczynić niezwykłe postępy, jeśli chodzi o wydajność i skalowalność. Horovod [ uber / horovod ] rozproszony framework do głębokiego uczenia; obsługuje TensorFlow, PyTorch wraz z wykorzystaniem OpenMPI. Dzięki temu można korzystać z wielu procesorów graficznych na wielu komputerach w celu szybszego uczenia modelu niż szkolenie go przy użyciu jednego GPU.
Poniższy link zawiera fajny samouczek na temat MPI – Interfejs przekazywania wiadomości (MPI)