Schloss Hohenstein wurde erstmals 1306 als Burg „Castum Hohenstein in dem Grabfelde“ urkundlich erwähnt. Die Gräfin Jutta von Henneberg war damals die Besitzerin. In den folgenden 150 Jahren wechselte die Burg mehrfach den Besitzer, bis Herzog Wilhelm von Sachsen sie als Lehen an die Brüder Hans und Thomas von Lichtenstein vergab. 1466 wurde die Burg von bambergischen Vasallen verwüstet, die später zur Schadensersatzzahlung verurteilt wurden.

1521 hielt der Raubritter Thomas von Absberg zwei kaiserliche Räte auf Burg Hohenstein gefangen, was 1523 zum Fränkischen Krieg führte. Wenige Jahre später, 1525, wurde die Burg im Bauernkrieg zerstört. Nur ein Teil des quadratischen Turms blieb als Ruine erhalten.

1573 ließ Michael von Lichtenstein die unbewohnbaren Reste der Burg zu einem Renaissanceschloss umbauen. Ein markantes Bauwerk aus dieser Zeit ist das hohe Torhaus. Der runde Turm neben dem Torhaus bietet eine beeindruckende Aussicht auf die umliegenden Schlösser und Burgen.

1648 wurde das Schloss im Dreißigjährigen Krieg geplündert und 1653 an Christof von Thüna verkauft, dessen Familie es drei Generationen lang hielt. 1741 erwarb Adam von Schauroth das Anwesen, verkaufte es aber 18 Jahre später an Generalleutnant Philipp Ernst Freiherr von Imhof. Dieser ließ das Schloss nach eigenen Vorstellungen umbauen und den Schlossgarten im Rokokostil anlegen. Später wurde dieser zu einem romantischen Park umgestaltet. Die Familie von Imhof behielt das Schloss bis 1937, verkaufte es dann aber, behielt jedoch die Ländereien.

Während des Dritten Reichs nutzte die Reichspost das Schloss als Erholungsheim, nach dem Zweiten Weltkrieg wurde es an die Caritas verpachtet und als Seniorenheim genutzt. 1976 erwarb der Münchener Unternehmer Oskar Hacker das Anwesen und ließ es zwischen 1987 und 1993 restaurieren, um es als Gästehaus mit Restaurant zu eröffnen. Seit 2016 gehört das Schloss der gemeinnützigen Oskar Hacker Stiftung. Eine umfassende Sanierung und Restaurierung von Schloss und Park ist für 2025 geplant.

Innerhalb der ursprünglichen mittelalterlichen Burganlage ließ in der zweiten Hälfte des 17. Jahrhunderts wahrscheinlich Christof Freiherr von Thüna, dessen Ehewappen über dem Portal angebracht ist, die Schlosskapelle errichten. Der rechteckig angelegte Bau, dessen Dach ein Dachreiter mit doppeltem Glockenstuhl ziert, schließt nach Süden hin mit dem Altarraum dreiseitig ab. Über dem durchgehenden Innenraum der Kapelle mit seiner schlichten Holzdecke erhebt sich im Norden eine einfache und im Osten eine doppelte Empore. Auf das Jahr 1688 datiert ist die Kanzel mit ihrem prächtigen, aus Holz geschnitzten Schalldeckel. Ein Grabmal des Johann Helmhard Auer von Herrenkirchen († 1718) befindet sich hinter dem Altar. Reich gestaltet ist das Epitaph des Philipp Ernst von Imhof († 1768) an der Westwand des Kirchenraums. 1749 bis 1751 wirkte der fränkische Kirchenmusiker Johann Heinrich Zang als Organist auf Schloss Hohenstein. Die von ihm bespielte Orgel aus dem Jahr 1709 ist auf der Orgelempore oberhalb des schlichten Altars nur noch in Bruchstücken erhalten.

Der Park, den die Familie von Imhof in einem Zeitraum von mehr als 150 Jahren rund um Schloss Hohenstein anlegen ließ, spiegelt im Grundsatz die Prinzipien des spätromantischen Englischen Gartens wider, allerdings durchsetzt von Elementen aus der Familiengeschichte derer von Imhof und ihrer Verehrung der Reichsgeschichte. Hierdurch unterscheidet sich der Schlosspark von Hohenstein stark von den anderen bekannten Landschaftsgärten im Coburger, Bayreuther und Bamberger Raum. Um die durch die romantische Gartenkunst geforderten Ausblicke und Sichtachsen verwirklichen zu können, ließ man kleinere Bauernanwesen abreißen und den dichten Wald durch einheimische und überseeische Gehölze ersetzen. Keller wurden in Grotten verwandelt, steinerne Ausblicke geschaffen, Ruhebänke und verschlungene Wege angelegt, Burgmauern mit einem zinnenbekrönten Aussichtsturm errichtet und ein Monopteros neben einem kleinen künstlichen Wasserfall aufgestellt. Freiflächen mit romantischen Staudenbeeten, Laubengänge und Freitreppen und die obligatorische Theaterbühne sowie ein in Fachwerk ausgeführtes Pförtnerhaus entstanden. Auch eine pittoreske, fränkische geleitete Linde (Schirmlinde) ist Teil des Gartenensembles. Von den vielen exotischen Baumarten, die gepflanzt wurden, befinden sich noch stattliche Exemplare im Park von Schloss Hohenstein unabhängig von der im 20. Jahrhundert zunehmend dem Verfall preisgegebenen Gesamtanlage. Seit 2001 sorgt ein als Verein eingetragener Freundeskreis wieder für die notwendige Unterstützung zur Wiederherstellung des Schlossgartens in seiner ursprünglichen Form unter den Gesichtspunkten des Denkmalschutzes. Die Ausblicke und Sichtbeziehungen, die ehemals bis weit in das Coburger und Bamberger Land reichten, sind zwar zugewachsen, dennoch stellt der öffentlich zugängliche Park ein Kleinod unter den fränkischen Landschaftsgärten dar.

Aus östlichen Berghang von Schloss Hohenstein in Richtung des Dorfes Stöppach ragen verstreut einige Sandsteinformationen hervor. Die Schlossinhaber Imhof ließen im 19. Jahrhundert einen Teil der Felsen bearbeiten. So entstanden Treppenaufgänge, Grotten, Steinbänke, Reliefs und sogar zwei auf die Felsen gesetzte Holzhütten. Das Ensemble erhielt dadurch die Staffagen eines Landschaftsgartens. Der heute vorwiegend junge Waldbestand lässt den Schluss zu, dass das Gelände früher deutlich offener war und weite Ausblicke in die Landschaft ermöglichte. Zwischen den durch beschilderte Wege verbundenen Felsen befinden sich auch einige aus Sandstein gehauene Ruhebänke. Über die Entstehung der Felsen ist eine Sage überliefert.

Der Sage nach lebten und arbeiteten auf dem Berg Hohenstein mehr als fünf Dutzend Zwerge, in Franken Querkel genannt. Sie bauten im Berg eifrig das vorhandene Gold und Silber ab. Auch halfen sie den Bauern im nahegelegenen Dorf Stöppach beim winterlichen Dreschen und brachten dann und wann Golddukaten mit oder schenkten den Kindern glitzernde Steinchen. Dafür erhielten sie von den Bauersfrauen Brot und Geräuchertes zur Vesper. Auch halfen sie armen Leuten bei der Ernte und machten sich in den Ställen nützlich. So kehrte bald im Dorf der Wohlstand ein. Aber einmal hatte eine Bauersfrau vergessen, den Querkeln das Abendbrot zu richten und als sie nach getaner Arbeit in der Küche nicht den gewohnten Vesperschmaus vorfanden, öffneten sie die Vorratstruhe, um sich ihren Teil zu holen. Dabei erwischte sie der recht geizige und habgierige Bauer und prügelte mit dem Ochsenziemer auf sie ein, da er glaubte, sie hätten sich mehr genommen als ihnen zustand. In ihrer Not sprangen die Männlein heulend durch Tür und Fenster und flohen zurück zum Hohenstein. Dort packten sie ihre Siebensachen und ihre Gold- und Silberschätze zusammen, um den Hohenstein zu verlassen. Doch bevor sie sich in der Nacht, als alle Bauern schliefen, davonmachten, warfen die enttäuschten Querkel vor Wut riesige Steinblöcke den Hang hinunter, die jedoch das Dorf nicht trafen und am Abhang liegen blieben. Fortan waren die hilfreichen Männlein nie wieder in der Gegend gesehen. Vergeblich warteten die Stöppacher Bauern und Bäuerinnen auf ihre Helfer. Auf der Suche nach ihnen fanden sie am Hang die Felsen, die vorher den Berg gekrönt hatten. Mit dem Wohlstand im Dorf war es nun vorbei. Bald war Stöppach in seiner Armut von den Nachbargemeinden nicht mehr zu unterscheiden. Den Steinformationen am Berghang gaben sie den Namen Querkelfelsen, wie man sie heute noch nennt.

Die Querkelfelsen

Alter Steinbruch
Die Querkelfelsen erkundet man vom ausgeschilderten schmalen Weg unmittelbar südlich der Reithalle vorbei am Alten Steinbruch. Seit 2011 weisen Rundwegschilder den Weg. Standortschilder mit den Namen der Felsen befinden sich an den jeweiligen Formationen.

Querkelstein
Auf den Querkelstein führt eine in den Felsen gehauene Treppe mit zwölf Stufen. Auf dem Felsen befand sich, den Spuren nach, ursprünglich eine hölzerne Aussichtskanzel.

Imhofstein
In den Imhofstein wurden 1898 die Initialen „GI“ geschlagen, im Andenken an Gustav von Imhof, der 1890 die letzten großen Renovierungen am Schloss vornehmen ließ wie den Neubau des Süd-Ost-Traktes und im Schlossgarten einen Turm mit Außentreppe. Am 1. Mai 1891 fand durch seine Initiative an den Querkelsteinen ein öffentliches Konzert statt, das von 500 Personen besucht wurde. Die Konzertreihe wurden einige Jahre fortgeführt.

Luisenstein
Am Luisenstein befindet sich die älteste Jahreszahl 1850, die von einem „L“ durchkreuzt ist. Das „L“ steht für Luise von Molke, die Ehefrau des 5. Imhofs.

Eleonorenstein
Der Eleonorenstein erinnert durch eine am Felsen angebrachte Glasplatte aus dem Jahr 1910 an die dritte Gemahlin von Gustav von Imhof.

Bismarckstein
Am Bismarckstein befindet sich ein großes Bronzerelief mit der Jahreszahl 1899 und der Inschrift „Dem Kanzler des neuerstandenen Deutschen Reichs“. Eine mächtige in den Felsen gehauene Treppe führt zu dem Relief.

Spaltstein
Der Spaltstein (ohne Bearbeitung) besteht eigentlich aus zwei nebeneinander liegenden Felsen, die durch einen schmalen Durchgang den Weg bergan ermöglichen.

Teufelsstein
Der Teufelsstein befindet sich deutlich nördlich der anderen Formationen. Er war um 1815 mit einer Hütte ausgestattet, die über zwei Steintreppen und einer dazwischenliegenden Holzbrücke erreichbar war. Die Holzbauten sind nicht mehr vorhanden. Steinerne Treppenaufgänge und Brückenwiderlager dagegen noch gut erhalten.