Gazi Üniversitesinin kuruluşu Cumhuriyetin ilanından hemen sonra Mustafa Kemal Atatürk ve arkadaşlarının Ankara'da bir enstitü kurulması girişimiyle başlar. Kurulacak bu enstitünün temel amacı yeni Türkiye'nin öğretmen ihtiyacını karşılamaktır.[10] 1926 yılında Orta Muallim Mektebi ve Terbiye Enstitüsü olarak Konya'da açılan okul, 1924 yılında Ankara'da açılan Musiki Muallim Mektebi ve Gazi Erkek İlk Muallim Mektebi birleştirilir ve günümüzde Gazi Üniversitesi Rektörlük binası olarak kullanılan bina Orta Muallim Mektebi ve Gazi Terbiye Enstitüsü adını alır, Musiki Muallim Mektebi de Enstitü'ye bir bölüm olarak eklenir. Daha sonraki yıllarda Okul, bünyesinde açılan pedagoji ve filoloji bölümleriyle kısa sürede öğretmen yetiştirmede ülkenin öncü ve önder bir eğitim kurumu olur. Adı 1929 yılında 'Gazi' adı başa getirilerek Gazi Orta Muallim Mektebi olarak değiştirilir ve 1976 yılına kadar bu adla eğitim-öğretim faaliyetlerini sürdüren okul, 1976 yılında ise Gazi Eğitim Enstitüsü adını alır.