Beste antwoord
MPI (Message Passing Interface) wordt voornamelijk gebruikt bij gedistribueerd parallel computergebruik. Het is een communicatieprotocol voor parallelle computers.
OpenMPI [ Open MPI: Open Source High Performance Computing ] is zon implementatie. De andere opmerkelijke implementatie van MPI is MPICH [ MPICH | Krachtige draagbare MPI ].
Enkele van de belangrijkste gebruiksscenarios van MPI zijn als volgt
- Dit wordt gebruikt door veel supercomputers.
- Er is een golf van diepgaande leertechnieken die worden toegepast op problemen in NLP, Computer Vision, Spraakherkenning enz. en onderzoekers hebben opmerkelijke vooruitgang geboekt als het gaat om de prestaties en schaalbaarheid. Horovod [ uber / horovod ] een gedistribueerd diepgaand leerkader; ondersteunt TensorFlow, PyTorch samen met het gebruik van OpenMPI. Hiermee kan men gebruik maken van meerdere GPUs over meerdere machines om een model sneller te trainen dan het te trainen met een enkele GPU.
De volgende link bevat een mooie tutorial over MPI – Message Passing Interface (MPI)