Zile sözcüğünün kaynağı kesin değildir. Strabon’un buradan Zelitis-Zela olarak söz etmesi bu yerleşimin çok eski olduğuna işaret etmektedir. Zile’nin 29 km. güneydoğusundaki Maşathöyük’te araştırma yapan Ord. Prof.Şevket Aziz Kansu ve onun ortaya çıkardığı buluntulara dayanılarak Şemsettin Günaltay, Hititlerin burada yaşadığını ortaya koymuştur. Ayrıca Zile’deki Maşathöyük kazılarında ele geçen tabletler de Yeşilırmak Havzası boyunca sıralanmış Hitit yerleşim merkezlerinden Anzilia’dan söz etmektedir. Büyük olasılıkla Anzilia sözcüğü zamanla Zile’ye dönüşmüştür.

MÖ.1916’da yöre Asurluların yönetimine geçmiştir. MÖ.XV.yüzyıldan sonra Kaşkalar burasını yakıp yıkmış, MÖ.VIII.yüzyılda Frigler yöreye hakim olmuş, MÖ.VII.yüzyılda da Kimmerler tarafından yağmalanmıştır. MÖ.VI.yüzyılda Anadolu’nun büyük bir bölümü ile birlikte Persler buraya da hakim olmuşlardır. Persler Yeşilırmak havzasına önem vermiş ve tarihi Kral Yolu’nu buradan geçirmişlerdir. I.Darius zamanında Anadolunun en büyük eyaleti olan Kapadokia ikiye bölünmüş ve Zile kuzeydeki Pontus Kapadokiası içerisinde kalmıştır. Persler burada kendi tanrıları olan Anahita (Anahitis, Anos, Anadates) adına bir mabet yaptırmışlar ve bu mabedin çevresinde Sonbaharda yapılan Sakaia şenliklerini düzenlemişlerdir.

MÖ.IV.yüzyılda Büyük İskender Anadolu’daki Pers imparatorluğunu sona erdirirken Zile yöresini de kendi topraklarına katmıştır. İskender’in ölümünden sonra topraklarını paylaşan generallerinden Ornets Kapadokia ile birlikte Zile’yi de egemenliği altına almıştır. MÖ.III.yüzyılda Pontus Krallığının egemenliğine girmiştir. Kapadokialılar Romalılardan Pontuslulara karşı koyabilmek için yardım istemiş ve Romalı general Sulla komutasındaki ordu Mithridates’i mağlup ederek Kapadokia’yı ele geçirmiştir. Sulla’nın Roma’ya dönmesi ve MÖ.78’de ölümü üzerine Mithridat yeniden Roma’ya karşı savaş açmıştır. MÖ.67’de Romalı Triarius ile Mithridates Zile’ye 5 km. uzaklıktaki Skotis’te (bugünkü Altıağaç Mevkii) savaşmışlar ve savaşın galibi belli olmamıştır. Mithridates yöreye hakim olmasına rağmen kısa bir süre sonra Romalı Pompeius, Mithridates’i yenerek yöreye hakim olmuştur.
MÖ.66’da Romalılar buraya hakim olmuş, bu arada II.Pharnakes yörede Pontus yönetimini yeniden kurmak istemişse de MÖ.47’de eski ismi ile Zela olan bugünkü Zile’de yapılan savaşta İulius Caesar’a yenilmiştir. Zile Kalesi içerisindeki bir taşa Iulius Caesar tarafından “Veni, Vidi, Vici - Geldim, Gördüm, Yendim” sözleri yazılmıştır. Aynı zamanda bu şehre Caesar’ın karısının ismi verildiği de kaynaklarda geçmektedir.

Roma’nın ikiye ayrılmasından sonra Bizanslılar buraya hakim olmuş ve XI.yüzyıl başlarında Bizans’ın Armeniakon Theması’nın sınırları içerisinde kalmıştır. Bizans döneminde yöre Sasanilerle Bizanslılar arasında sürekli el değiştirmiştir. Bu yüzyıldan sonra Asya’dan Türkmen toplulukları buraya yerleşmeye başlamıştır.

Malazgirt Savaşı’ndan (1071) sonra Zile, Melik Ahmet Danişmend Gazi tarafından Bizanslılardan alınmıştır. 1174 yılında Anadolu Selçukluları’ndan İzzettin II. Kılıçaslan Sivas ve çevresini ele geçirmiş ve Danişmendli egemenliğine son vermiştir. Böylece Selçukluların yönetimine giren yöre kültürel yönden gelişmiştir.Bundan sonra İlhanlıların denetimi altına giren yöre Moğollar tarafından yağmalanmış, bunu Eretna Beyliği, Kadı Burhaneddin Devleti ve Akkoyunluların yönetimi izledikten sonra 1397’ de Yıldırım Beyazıt tarafından Osmanlı topraklarına katılmıştır.

Antik kentten günümüze gelebilen tarihi eserler arasında; Zile Kalesi, Maşathöyük, Zile Höyüğü, Roma dönemi tiyatrosu, Kaya Mezarları, Namlı Hisar Kale, Anzavur Mağaraları, Manastır Kalıntısı bulunmaktadır.