Το νεοκλασικό κτίριο χτίστηκε το 1923 και έως το 1934 λειτουργούσε ως Διδασκαλείο. Πρώτος Διευθυντής του Διδασκαλείου ήταν ο μεγάλος δάσκαλος και παιδαγωγός Θεόδωρος Κάστανος Το 1934 καταργήθηκαν τα Διδασκαλεία Δημοτικής Εκπαιδεύσεως και ιδρύθηκαν οι Παιδαγωγικές Ακαδημίες, με διετή κύκλο μεταγυμνασιακών σπουδών, που αρχικά θα ήταν έξι σε όλη την Ελλάδα. Στο χώρο της Ανατολικής Μακεδονίας και Θράκης Ακαδημία διεκδικούσαν αρκετές πόλεις.
Το Μάιο του 1934 ο Γυμνασιάρχης Ιωάννης Τέντες συναντήθηκε με τον καθηγητή του Διδασκαλείου Χαράλαμπο Καμπάνταη καί συνέταξαν υπόμνημα στο όποιο ανέπτυξαν όλα τα θετικά στοιχεία πού προσφέρει ή Αλεξανδρούπολη ως πνευματικό κέντρο. Ύστερα από συνεννόηση με τον τότε Δήμαρχο κ. Αλτιναλμάζη, ανατέθηκε στον κ. Καμπάνταη να μεταβεί στην Αθήνα, για να επιδώσει τα υπομνήματα στον Υπουργό Παιδείας, τους βουλευτές και τον εγγονό του εθνικού ευεργέτη Γεώργιο Ζαρίφη, πού είχε κινήσει αγωγή κατά του δημοσίου για αποζημίωση, λόγω της παράληψης του κράτους να εκπληρώσει τους όρους της συμβάσεως πού είχε συνάψει με τον παππού του, μετά την πυρπόληση του Ζαρίφειου Διδασκαλείου της Φιλιππουπόλεως από τους Βουλγάρους το 1906. Η αγωγή αυτή δεν είχε καρποφορήσει και ήταν μια ευκαιρία, για μια εκτόνωση της δοκιμασίας πού υπέστησαν οι εγγονοί του Ζαρίφη, να συνδεθεί το όνομα του Ζαρίφη με την Παιδαγωγική Ακαδημία Αλεξανδρουπόλεως. Όπως αναμένονταν, ο Γ. Ζαρίφης έπαιξε αποφασιστικό ρόλο για την υλοποίηση του επιδιωκόμενου σκοπού.
Το Υπουργείο δέχτηκε το αίτημα και έγινε η σχετική συμφωνία με την οικογένεια Ζαρίφη (λέγεται ότι η οικογένεια Ζαρίφη παραιτήθηκε από τυχόν διεκδικήσεις της απέναντι στην Ελληνική Κυβέρνηση για τη μη εκτέλεση των όρων της Διαθήκης Ζαρίφη). Έτσι ονομάστηκε «Ζαρίφειος» η Ακαδημία Αλεξανδρουπόλεως.
Μετά την απόφαση για ίδρυση της Παιδαγωγικής Ακαδημίας στην Αλεξανδρούπολη, ο κ. Καμπάνταης προσκάλεσε τον κ. Ζαρίφη να επισκεφθεί την Παιδαγωγική Ακαδημία Αλεξανδρουπόλεως. Ο κ. Ζαρίφης αποδέχτηκε την πρόσκληση και η επίσκεψη πραγματοποιήθηκε μετά ένα χρόνο, οπότε ο κ. Ζαρίφης πρόσφερε στην Ακαδημία μια σειρά από πνευστά όργανα, ένα πιάνο με ουρά και το σημαντικό για την εποχή εκείνη ποσό των 10.000 δρχ. για αγορά επίπλων.
Στη μεγάλη αίθουσα τελετών της Παιδαγωγικής Ακαδημίας δόθηκε δεξίωση, παρουσία των αρχών, των εκπαιδευτικών και πολλών τοπικών παραγόντων, όπου με τις προσφωνήσεις, τους χορούς, τα τραγούδια και τις άλλες εκδηλώσεις, η δεξίωση προσέλαβε διαστάσεις εθνικής γιορτής, που κατασυγκίνησε τον άνδρα, ο οποίος, με σκληρό αγώνα, χάρισε στην πόλη μας την Ακαδημία. Ο Δήμος Αλεξανδρούπολης, εκφράζοντας την ευγνωμοσύνη του, έδωσε το όνομα του ευεργέτου Ζαρίφη στο δρόμο πού περνάει μπροστά από την Ακαδημία.Η Ζαρίφειος Παιδαγωγική Ακαδημία λειτούργησε μέχρι το 1968, όταν καταργήθηκαν οι Παιδαγωγικές Ακαδημίες και δημιουργήθηκαν οι Πανεπιστημιακές Παιδαγωγικές Σχολές.
Η μορφή του Γεωργίου Ζαρίφη σε μαρμάρινη προτομή, έργο του γλύπτη Περαντινού, βρίσκεται στον κήπο του κτιρίου που τώρα στεγάζει τα πρότυπα δημοτικά σχολεία του Παιδαγωγικού Τμήματος του Δημοκρίτειου Πανεπιστημίου Θράκης.
