Nejlepší odpověď
MPI (Message Passing Interface) se používá hlavně v distribuovaných paralelních výpočtech. Jedná se o komunikační protokol pro paralelní počítače.
Jednou z takových implementací je OpenMPI [ Open MPI: Open Source High Performance Computing ]. Další významnou implementací MPI je MPICH [ MPICH | Vysoce výkonný přenosný MPI ].
Některé důležité případy použití MPI jsou následující
- Toto používá mnoho superpočítačů.
- Došlo k prudkému nárůstu technik hlubokého učení aplikovaných na problémy NLP, počítačového vidění, rozpoznávání řeči atd. a vědci dokázali dosáhnout pozoruhodného pokroku, pokud jde o výkon a škálovatelnost. Horovod [ uber / horovod ] distribuovaný rámec hlubokého učení; podporuje TensorFlow, PyTorch spolu s použitím OpenMPI. S tímto lze využít více GPU napříč více stroji pro rychlejší trénink modelu než jeho trénink pomocí jediného GPU.
Následující odkaz obsahuje pěkný návod k MPI – Rozhraní pro předávání zpráv (MPI)