Wie überall in Süddeutschland entstand auch in der dörflichen Gemeinde Feldafing neben der 1508 fertig gestellten Kirche ein Wirtshaus mit eigener Metzgerei und Bäckerei. Von den Schlossherren von Garatshausen wurde es mit Sonderrechten ausgestattet.
1856 kaufte Reichsrat Anton Ritter von Maffei, Industrieller, Münchener Bürger und Großgrundbesitzer in Feldafing, den Gasthof und ließ mit einem sicheren "Gespür" für die landschaftliche Schönheit gleich daneben einen Gasthof mit freier Aussichtsterrasse bauen.
Bewirtschaftet von Johann und Elisabeth Hierl erfreute sich der Terrassengasthof großer Beliebtheit. Die um diese Zeit angelegte Bahnlinie mag dazu verholfen haben, dass der einheimische Baumeister Johann Biersack die Vergrößerung zu einem Schweizer Gasthaus ausführen musste.
Der alljährliche Aufenthalt der Kaiserin Elisabeth von Österreich machte 1870 eine nochmalige Vergrößerung (Nebenhaus und Ställe) notwendig. Die im Schloss Possenhofen aufgewachsene bayerische Prinzessin "Sisi" besuchte von hier aus ihre Familie, traf ihren Vetter Ludwig II. und unternahm ausgedehnte Ausritte und Spaziergänge nach Andechs und München.
Am Todestag des unglücklichen Bayernkönigs, am 13. Juni 1886, eilte sie von Feldafing aus nach Berg an seine Bahre, wo sie von dem bis heute ungeklärten Geschehen über alle Maßen erschüttert war. Im Sommer 1894 war die Kaiserin zum letzten Mal hier. In der Dorfkirche erinnert ein prunkvolles Fenster - gestiftet von Kaiser Franz Joseph - an diese glanzvolle Zeit.
Elisabeth, Kaiserin von Österreich, wurde im Jahre 1898 in Genf Opfer eines Attentats.