Mitte des 15. Jahrhunderts vereinigten sich die alten Dorfgemeinden Horgen, Arn, Horgenberg und Oberrieden und beschlossen den Bau eines gemeinsamen Gesellenhauses mit angegliederter Taverne. Das 1466 fertiggestellte Gebäude war von 55 sogenannten Hausgenossen finanziert worden. Die übrigen Gemeindebürger konnten sich in diese "Gesellschaft" der Hausgenossen (deshalb der Name Gesellenhaus) einkaufen. Der Einkauf wurde für Gemeindebürger schliesslich obligatorisch, was die geplante Funktion als Gemeindehaus untermauerte.

Für die Verwaltung des Gesellenhauses wählte die Gemeinde sogenannte Stubenmeister. Der Betrieb der angegliederten Taverne oblag einem Stubenknecht. Wenn die Hausgenossen Geschirr zerbrachen, mussten sie für den Schaden aufkommen. Das funktionierte indes nicht, und so übertrugen die Hausgenossen 1586 dem Stubenknecht die Verantwortung für die ihm übergebenen Gläser, Teller und Schalen, die er bei seinem Abgang in gleicher Anzahl wieder vorzuweisen hatte.

1679 – 1680 wurde das Gesellenhaus abgebrochen und neu erbaut. Seit diesem Neubau ist der Wirtshausname Schwan bezeugt. Zudem wurde dem Gesellenhaus eine Gemeindemetzgerei angegliedert. Der "Schwan" diente weiterhin als politischer und gesellschaftlicher Mittelpunkt der Gemeinde. 1857 verkaufte die Gemeinde die Liegenschaft an Private. Nach einem tiefgreifenden Umbau von 1957 entstand das heutige Hotel Schwan mit Restaurant.