"Fantaisie" so nannte Herzogin Elisabeth Friederike Sophie von Württemberg ihren Sommersitz in Donndorf. Der unter verschiedenen Herrschern entstandene Park rund um das Schloss vereint originale Gestaltungselemente aus den Stilphasen Rokoko, Empfindsamkeit und Historismus. Das angeschlossene Gartenkunst-Museum ist einzigartig in Deutschland.
Drei Jahre nach dem Tod seiner kunstsinnigen Gemahlin begann Friedrich mit den Bauarbeiten für ein neues Schloss, ohne jedoch die Fertigstellung zu erleben. Seine Tochter erhielt nach ihrer gescheiterten Ehe mit Carl Eugen von Württemberg 1763 den Besitz. Sie ließ das Schloss wahrscheinlich von Rudolf Heinrich Richter vollenden und bis 1780 einen spätbarocken Garten anlegen. Der wohl von Carl Philipp von Gontard entworfene Pavillon, der Neptunbrunnen mit einer Figurengruppe der Gebrüder Johann David und Lorenz Wilhelm Räntz, Stützmauern, Treppenanlagen, Fragmente der Kaskade und zwei originelle Sandsteinbänke aus dieser Zeit blieben bis heute erhalten. Die verloren gegangenen Heckenräume des 18. Jahrhunderts östlich vom Schloss sowie der ehemalige Nutzgarten mit seinen Obstquartieren wurden unlängst rekonstruiert.
1793 erwarb Herzogin Friederike Dorothee Sophie von Württemberg das Schloss. Sie ließ die Gartenanlagen im Stil des sentimentalen Landschaftsgartens erweitern. Unter Einbeziehung der vorgefundenen Sandsteinfelsen wurde eine Fülle reizvoller Staffagen im angrenzenden Hangwald errichtet, eine Katakombe, die Säule der Eintracht und verschiedene Ruhesitze. 1795 siedelte Dorothee Sophie nach Stuttgart über, wodurch der weitere Ausbau des Gartens unterbrochen wurde. Ihr Sohn Alexander Friedrich konnte sich als Offizier in russischen Diensten nur wenig um sein Erbe kümmern. Auf ihn gehen lediglich der Borodino-Stein und die Alexander-Kapelle zurück.
Erst Herzog Alexander von Württemberg führte die Fantaisie zu einem neuen Höhepunkt. Er nutzte das Schloss von 1839 bis 1881 als Sommerresidenz und ließ es 1850/1852 in seiner noch heute bestehenden Form umbauen. Dabei wurden der Mitteltrakt und die beiden Eckrisalite der Südseite um ein Stockwerk erhöht, zwei Türmchen auf der Nordseite angefügt und alle Fassaden im so genannten Florentiner Stil umgestaltet. Die vorhandene Gartenanlage behielt Herzog Alexander zwar in vielen Teilen unverändert bei, ergänzte sie aber auch durch zahlreiche stilpluralistische Ausstattungselemente, wie Gartenskulpturen, Brunnen, Pavillons und Terrassen, vor allem aber durch mehrere landschaftlich gestaltete Parkräume mit vielen fremdländischen Gehölzen.
Schloss Fantaisie beherbergt heute das erste und bislang einzige Gartenkunstmuseum Deutschlands. In einer abwechslungsreich inszenierten Raumfolge wird die Geschichte der Gartenkunst vom 17. bis zum 19. Jahrhundert lebendig dargestellt. Wertvolle Ausstellungsstücke, darunter Gartenskulpturen, Gemälde und Graphiken, Porzellan und Fayencen, Gartenpläne und -modelle, Gärtnerlehrbriefe, Gartenmöbel und Gartenwerkzeuge vermitteln anschaulich die vielschichtige Entwicklung der Gartenkunst, insbesondere in Süddeutschland. Der Weiße Saal, der klassizistische Festsaal des Schlosses mit seinem reichen Stuckdekor, ist in den Museumsrundgang eingebunden. Außerdem kann eine Nachbildung des so genannten Spindler-Kabinetts, ein von den Bayreuther Kunstschreinern Johann Friedrich und Heinrich Wilhelm Spindler zwischen 1763 und 1765 für Schloss Fantaisie gefertigtes Intarsienkabinett, besichtigt werden.
Der Schlosspark, der in nahtloser Abfolge originale Gestaltungselemente aus seinen drei wesentlichen Stilphasen (Rokoko, Empfindsamkeit, Historismus) vereint, ist Bestandteil des Gartenkunst-Museums Schloss Fantaisie.