İlçemizin Kuruluş tarihinin nereye kadar uzadığı kesin olarak bilinmemektedir. İlçemizin yakınında Sungur Mevkiinde bulunan heykel, küp, çanak ve çömlek gibi kalıntılar incelendiğinde buranın çok eski dönemde yerleşmelere sahne olduğu anlaşılmaktadır. Bunlardan Hygeia (Sağlık Tanrısının Kızı Roma Dönemi) ve Asklepios (Sağlık Tanrısı Roma Dönemi) heykelleri Roma Dönemi Yenipınar Mahallesindeki Aşağı Cami ise Osmanlı dönemine ait kanıtlardır.

İlçemizin yerleşmesine ait ilk belgeleri yaklaşık 400 yıl önce düzenlenen Ankara Şer´iye Mahkemesi sicillerinde görüyoruz. Yozgat Köyü adı ile anılan Elmadağ, bu dönemde Ankara´ya bağlı bir yerleşim yeriydi. Bu kayıtlardan Elmadağ´da kervanların konakladıkları bir Derbent Köyü olduğu belirtilmektedir. İlk yerleşme bugünkü Yenipınar ve Yenidoğan Mahalleleri olmuştur.

1785-1809 yılları arasında Ankara Sancağına bağlı 13 kazadan biri olan Kasaba-i Bala ve Çukurcak nahiyesine bağlı Yozgat Köyü (Asi Yozgat) görülmektedir. 1902 yılında ise Ankara Vilayeti Salhanesi´nde Ankara İlínin beş sancak ve 21 kazadan oluştuğu belirtilmektedir. Asi Yozgat, bu sancaklardan biri olan Ankara Merkez Sancağı´na bağlı Bala kazasına ait bir köydür. Kurtuluş Savaşında büyük yararlılıklar gösteren Elmadağlı´lar, İstiklal Mücadelesine her şeyi ile katılmış ve Atatürk Ankara´ya geldiğinde karşılayan seymen alayının içinde de varlıklarını göstermişlerdir.

1928 tarihinde Küçük Yozgat adı Bala kazasına bağlı bucak olmuş, 1936 tarihinde Bala kazasından ayrılıp nahiye merkezi olarak Çankaya ilçesine bağlanmıştır. 1941 yılında şehrin küçük Yozgat ismi Elmadağ olarak değiştirilmiştir. 1944 yılında Elmadağ Belediyesi kurulmuş, 01.04.1960 tarihinde de ilçe olmuştur.

İç Anadolu Bölgesinin yukarı Sakarya bölümünde yer alan ilçemiz, Ankara’nın 41 km. doğusunda adını aldığı Elmadağ dağının kuzeydoğu eteklerinde kurulmuş çok eski bir yerleşim alanıdır.

Yapılan arkeolojik araştırmalardan elde edilen tarih öncesi eserler, Elmadağ ve çevresinin çok eski medeniyetlere sahne olduğunu göstermektedir.