Abu ‘Ubaidah Ibnul Jarrah masuk Islam melalui Abu Bakar Shiddiq. Saat itu masa awal kerasulan, yaitu sebelum Rasulullah saw mengambil rumah Arqam sebagai tempat dakwah. Ketika Abu ‘Ubaidah berikrar di hadapan Rasulullah saw untuk membaktikan dirinya di jalan Allah, ia menyadari sepenuhnya makna kata-kata “berjuang di jalan Allah”. Sejak itu ia tidak memperhatikan kepentingan pribadinya. Seluruh hidupnya digunakan untuk mengemban amanat yang dititipkan Allah padanya.
Ia terus berjuang mencapai ridha Allah. Rasulullah sangat menyayangi Abu ‘Ubaidah Ibnul Jarrah. Beliau sangat terkesan padanya. Ketika utusan Najran dari Yaman menyatakan keislaman mereka, mereka meminta Rasulullah mengirimkan seorang guru untuk mengajarkan Al-Quran dan Sunnah serta masalah agama Islam. Rasulullah pun mengirimkan Abu ‘Ubaidah Ibnul Jarrah.
Abu ‘Ubaidah Ibnul Jarrah pernah menjadi panglima besar di Syiria. Ia menggantikan Khalid bin Walid. Di bawah kepemimpinannya, rakyat Syiria merasa takjub dan mencintainya. Namun demikian, ia tetap bersikap rendah hati. Ia juga tetap menjadi pribadi yang bertakwa.
Ketika Umar bin Khattab berkunjung ke Syiria dan singgah ke rumah Abu ‘Ubaidah Ibnul Jarrah, beliau takjub dengan pribadinya. Umar tidak menemukan satu pun perabot rumah tangga di kediaman Abu ‘Ubaidah Ibnul Jarrah. Beliau hanya menemukan pedang, perisai, serta pelana kendaraannya.Meskipun Abu ‘Ubaidah seorang penguasa, ia tidak pernah memanfaatkan jabatannya untuk kepentingan pribadi.
