Halil Yılmaz, 4 Mayıs 1953 tarihinde İskenderun'da dünyaya geldi. Eğitim hayatına İskenderun Lisesi'nde başlayan Yılmaz, Ankara Üniversitesi Siyasal Bilgiler Fakültesi'nden 1974 yılında mezun oldu. Meslek yaşamına ise çeşitli kaymakamlık görevleriyle adım attı; Çekerek, Çüngüş, Nusaybin, Yumurtalık ve Fatsa'da kaymakam olarak görev yaptı.
Bürokratik kariyerindeki yükselişi devam eden Halil Yılmaz, İçişleri Bakanlığı bünyesinde Mülkiye Müfettişliği ve Başmüfettişlik görevlerini üstlendi. Daha sonra Teftiş Kurulu Başkan Yardımcılığı ve Başkanlığı görevlerinde bulundu. Aynı dönemde Türkiye Kızılay Derneği Teftiş Kurulu Başkanlığı ve Denetçiler Kurulu Üyeliği gibi kurumsal sorumluluklar da üstlendi.
Yükseköğretim Kurulu'nda Denetleme Kurulu Üyeliği ve Kültür ve Turizm Bakanlığı bünyesinde Telif Hakları ve Sinema Genel Müdürlüğü gibi önemli görevlerde de yer aldı.
2011 yılında Cumhurbaşkanı tarafından Danıştay üyeliğine atanan Yılmaz, 2016 yılında ise Danıştay Başsavcılığı görevine getirildi. Yaş haddinden emekli olmasına sadece bir hafta kala, milletvekili adayı olmak amacıyla kendi isteğiyle emekli oldu. İngilizceye hakim olan Halil Yılmaz, evli ve üç çocuk babasıdır.
