Yılmaz yaptığı yazılı açıklamada, kadro oluşturma konusunda yönetim ile fikir ayrılığına düştüğü için görevinden istifa kararı aldığını belirtti. Ligin ilk yarısında takımın başarılı sonuçlar almasında etkili olan Yılmaz, açıklamasında şunları kaydetti:
"2011-2012 sezonu 2. devresinin hazırlıklarının başlamasından dolayı gönderilecek futbolcular ve transfer edilecek futbolcular konusunda yönetim kurulumuzla fikir ayrılığına düştüğümden ve bu durumdan dolayı önümü göremediğim için çok sevdiğim Kayseri Erciyesspor kulübündeki teknik direktörlük görevimden istifa etmiş bulunuyorum. Kayseri Erciyessspor Kulübü'nün başkanı, yöneticileri ve tüm çalışanlarına en ufak bir kırgınlığım olmamıştır. Kayseri Erciyesspor'a Süper Lig yolunda başarılar diliyorum."
