Das Haus zum Schlüssel wurde 1826 durch Sekelmeister und Bäcker Heinrich Höhn erbaut. 1852 kam es in den Besitz von David Trüb, der 1862 eine Taverne einrichtete. Das Führen einer Taverne berechtigte im Gegensatz zu einer Weinschenke zum Auswirten warmer Speisen und zur Beherbergung von Gästen. Das dafür benötigte Tavernenrecht gehörte zunächst der Gemeinde mit David Trüb als Pächter. 1868 wurde das Tavernenrecht auf den Wirt überschrieben.

Das aus der Taverne hervorgegangene Wirtshaus zum Schlüssel entwickelte sich im frühen 20. Jahrhundert zum Treffpunkt der Bürgerlichen und Arbeitergeber. Als während des Generalstreiks 1918 die Zeitungen ausblieben, kam man am ehesten in den Wirtschaften zu neuen Nachrichten. Die Arbeiterführer versammelten sich allabendlich im "Schwan". Derweil zogen die Bürgerlichen "sorgenschweren Gemütes" in den "Schlüssel" und "sassen wartend hinter ihren Gläsern" (Gemeindechronik 1918).

1969 wurde die Gaststätte aufgehoben. Der Schlüsselkeller blieb noch einige Zeit eine Begegnungsstätte. Die Feldschützengesellschaft Horgen (seit 1985 Schützengesellschaft Horgen) baute den Weinkeller des ehemaligen Wirtshauses zu ihrem Vereinslokal um und vermietete den Raum auch für private Veranstaltungen. 2005 wurde der Keller zur Galerie umgenutzt, die bis Anfang 2016 bestand.