Die Villa Festungsstraße 5 gehört zu den bemerkenswerten historischen Wohnbauten am Coburger Festungsberg. Ihre Geschichte reicht bis in die Mitte des 19. Jahrhunderts zurück und spiegelt zugleich die Entwicklung des Areals zwischen Altstadt, Hofgarten und Veste zu einem bevorzugten großbürgerlichen und höfischen Wohnquartier wider. Das heutige Villenviertel Festungsberg entstand seit den 1860er Jahren und zeichnet sich durch eine ungewöhnliche Vielfalt von Neugotik, Spätklassizismus, Historismus und später auch Jugendstil aus. Die Festungsstraße folgt dabei dem westlichen Rand des Hofgartens bergauf in Richtung Veste.
Die Villa Nr. 5 entstand bereits 1865 und gehört damit zu den frühen Bauten dieser Entwicklung. Als Bauherr beziehungsweise erster Bewohner erscheint eine für die Coburger Kulturgeschichte besonders interessante Persönlichkeit: der Schauspieler Friedrich Haase (1825–1911). Nach den Angaben der Coburger Denkmalliteratur errichtete der Maurermeister Paul Gehrlicher – in der Denkmalliste teilweise als „Gerlicher“ geschrieben – das Gebäude für den damals aus St. Petersburg kommenden Schauspieler. Haase hatte mehrere Jahre am deutschsprachigen Theater in St. Petersburg gewirkt und gehörte bereits zu den renommierten Bühnendarstellern seiner Zeit. 1866 kam er an das Coburger Hoftheater, wo er als Schauspieler und Regisseur tätig wurde und 1867/68 zeitweise die Leitung des Hoftheaters übernahm. Damit steht die Villa bereits am Beginn ihrer Geschichte in enger Verbindung mit dem Coburger Theaterleben.
Der ursprüngliche Bau war ein zweigeschossiges Wohnhaus, dessen charakteristisches Element bereits der aus dem Baukörper herausragende dreigeschossige achteckige Turm bildete. Seine Zinnenbekrönung verleiht dem Gebäude bis heute einen ausgesprochen repräsentativen, an die neugotische Architektur erinnernden Charakter. Die Denkmalliteratur nennt für 1892 einen neugotischen Umbau; spätestens damit erhielt das ursprünglich noch stärker vom Villenbau der 1860er Jahre geprägte Haus jene historistische Erscheinung, die seine heutige Wirkung wesentlich mitbestimmt.
Auch die Reihe der Bewohner verweist auf die gesellschaftliche Stellung des Hauses. Eine lokalhistorische Zusammenstellung nennt nach Friedrich Haase zunächst die Rechtsanwaltswitwe Sophie Eck, ab 1884 Gustav von Padberg und ab 1893 den Geheimen Rat Eduard Tempelthey. Besonders von Padberg verbindet die Villa unmittelbar mit der Coburger Hofgesellschaft. Gustav von Padberg war Schlosshauptmann und Hofmarschall und lebte mit seiner Familie zwischen 1884 und 1893 in der neugotischen Villa an der Festungsstraße. Seine Ehefrau Bertha Luise war eine außereheliche Tochter Herzog Ernsts II. von Sachsen-Coburg und Gotha.
Eine weitere prägende Phase begann zu Beginn des 20. Jahrhunderts mit Louis Anton Freiherr von Horst (1865–1947). Der deutsch-amerikanische Unternehmer und Hopfenhändler war 1899 von Herzog Alfred in den Sachsen-Coburg und Gothaischen Adels- und Freiherrenstand erhoben worden und gehörte zu den international orientierten Unternehmerpersönlichkeiten der Stadt. Seit 1901 war er Coburger Bürger. Das Anwesen Festungsstraße 5 befand sich längere Zeit im Besitz der Familie von Horst.
Gerade während dieser Zeit wurde das Gebäude nochmals erheblich verändert. Der Coburger Architekt und Baumeister Paul Schaarschmidt ergänzte die Villa 1906 und 1908 durch Veranden und weitere Anbauten. Schaarschmidt gehörte zu den bedeutenden Coburger Architekten des frühen 20. Jahrhunderts und war an zahlreichen historistischen und vom Jugendstil beeinflussten Bauten beteiligt. Die verschiedenen Bauphasen wurden dabei zunehmend zu einem repräsentativen Gesamtbild zusammengeführt.
Bemerkenswert ist außerdem die kulturelle Nutzung des Hauses. Louis von Horsts Ehefrau Carita Helena Partello von Horst, die selbst Klavier und Gesang studiert hatte, unterhielt in der Villa eine Opernschule. Damit setzte sich auf andere Weise jene Verbindung zwischen dem Haus und der Musik- und Theaterwelt fort, die bereits mit Friedrich Haase begonnen hatte. Aus einem privaten Wohnsitz wurde zeitweilig also auch ein Ort musikalischer Ausbildung