He entered politics by the AK Party, and became deputy of Sivas Province following the 2011 general elections. On July 6, 2011, Yılmaz was appointed Minister of National Defence in the Cabinet Erdoğan III.
1 Kasım 2007'de TBMM dışından Ulaştırma Bakanlığına atandı. 61. Hükümette Milli Savunma Bakanlığı görevine getirildi. 24 ve 25. dönemlerinde Sivas milletvekiliği görevinde.