Bulan Oktober 636 M, Abu Ubaydah menyerahkan kepemimpinan pasukan untuk sementara kepada Khalid sebagai panglima keseluruhan pasukan yang jumlahnya berkisar 30.000-40.000. Pasukan Romawi Timur yang datang ternyata benar-benar sesuai dengan kabar dari tawanan perang pada pertempuran sebelumnya, 150.000-240.000.
Pertempuran Yarmuk pun terjadi dan terjadilah kemenangan yang sangat menentukan dan bersejarah. Dengan membariskan pasukannya sepanjang 18 km, Khalid mengawali perang dengan strategi bertahan dan melakukan serangan balik ketika pertengahan hari. Kondisi ini terus berlangsung selama 4 hari. Pada hari kelima, pasukan Romawi mencoba membuat gencatan senjata, tetapi gagal. Pada hari keenam, Khalid mengubah strateginya menjadi penyerangan efektif. Pasukan Romawi kalah pada hari itu juga. Pertempuran Yarmuk merupakan salah satu dari contoh pertunjukan strategi militer brilian yang sangat langka di mana sejumlah pasukan dengan jumlah jauh lebih kecil mampu bertahan, bahkan menang melawan pasukan yang sangat besar jumlahnya.
Umar sekali lagi mengeluarkan kebijakan yang mengejutkan dengan memberhentikan Khalid secara total dari pasukan. Khalid dianggap terlalu berlebihan dengan memberikan ganjaran 10.000 Dirham untuk seorang penyair yang memuji dirinya. Ini dianggap sebuah pemborosan. Tahun 638 M, Khalid pun kembali ke Madinah dan secara normal agak memprotes pemberhentianny. Namun pada akhirnya, Khalid ibn Al-Walid tetap setia pada pemimpin dan agamanya. Ia menerima keputusan pemberhentiannya.
Khalid menjalani sisa kehidupannya di Kota Emesa, Syams. Ia wafat pada tahun 642 M dalam usia 50 tahun. Salah satu kalimat terakhirnya adalah sebagai berikut.
"... Dan di sini aku mati di atas tempat tidurku seperti domba yang mati. Mudah-mudahan mata orang-orang pengecut tidak akan pernah tidur!"
Pernyataannya ini menunjukkan kekecewaannya karena tidak bisa mencapai kematian di medan pertempuran yang merupakan dambaannya. Kuburannya sekarang menjadi bagian dari Masjid Khalid ibn Al-Walid.
Dalam sebuah narasi, dia memiliki bekas-bekas luka dari sejumlah sabetan pedang, tombak, dan panah hampir di semua bagian tubuhnya selain wajah. Orang-orang yang melihat luka-lukanya akan sulit menerka bagaimana ia bisa selamat dari luka-lukanya itu. Kemahirannya dalam bermain pedang dipertunjukkan dalam beberapa duel dalam pertempurannya. Dalam Pertempuran Rantai di Mesopotamia, ia membunuh Panglima Hormuz dalam duel seru yang disaksikan oleh dua belah pihak. Ia juga sangat mampu memanfaatkan pasukan berkudanya jauh lebih efektif dari musuh-musuhnya.
Rekor tidak terkalahkannya dalam pertempuran membuatnya memperoleh tempat yang hampir sejajar dengan Alexander The Great dan Subutai--salah satu panglima perang Jenghis Khan--. Ia sering sekali menggunakan beberapa taktik perang yang sangat cerdas seperti yang pernah ditulis dalam buku The Art of War karya Tsun Zu. Meskipun wilayah taklukannya tidak seluas taklukan Alexander The Great, ia tetap merupakan panglima perang terbaik di zamannya di samping Eulji Mundeok, panglima Korea yang hidup semasa dengannya.
Satu hal yang mungkin tidak bisa dimiliki oleh panglima perang lainnya adalah sifatnya yang jauh dari keangkuhan dan penuh kemurnian tujuan. Hal ini ditunjukkannya ketika menerima dengan penuh kelapangan dada kebijakan khalifahnya yang menurunkan jabatannya dan bahkan memberhentikannya dari pasukan. Sungguh sangat mungkin baginya memberontak pada khalifah karena pasukannya yang sangat mencintai diri jenderalnya. Ia hanya berkata,
"Saya tidak berperang untuk Umar."
Bahkan yang menjadi kekesalannya ketika diberhentikan bukanlah kekesalannya yang harus kehilangan jabatan, tetapi kekesalan karena tidak bisa lagi berperang membela agamanya dan mencapai cita-citanya untuk mati di medan perang.
