Das 1877 bis 1878 erbaute Schulhaus Dorf verhalf der 1838 eröffneten Sekundarschule erstmals zu geeigneten Schulzimmern. Im ersten Schullokal in der Sust, direkt über der offenen Warenhalle, war es im Winter kalt und feucht. Im 1846 bezogenen Obergeschoss des ehemaligen Feuerwehrlokals an der Alten Landstrasse traten giftige Kohlenmonoxidgase aus den Öfen aus. Natürlich hatte das neue Schulhaus seinen Preis. Hirzel trat aufgrund der gestiegenen Schulbeiträge umgehend aus dem Sekundarschulkreis Horgen aus.

Auch ohne Hirzel war das Schulhaus für die Sekundarschule bald wieder zu klein. Die Primarschule hatte Anspruch auf Schulräume für die oberen Primarklassen und nahm bald weitere Zimmer in Beschlag. Singsaal und Sitzungszimmer wurden zu Schulzimmern umgenutzt. Trotzdem musste die Sekundarschule 1911 mit zwei Klassen in das Primarschulhaus Rotweg ausweichen. 1952 bezog die Sekundarschule schliesslich das neue Sekundarschulhaus Berghalden.

Die Primarschule hatte nun das Schulhaus Dorf für sich allein. Aber der Kanton meldete aufgrund der verkehrsreichen Lage Bedenken an, und der Schulbetrieb wurde 1965 eingestellt. Im Rahmen der damaligen Zentrumsüberbauung war zeitweise ein Abbruch im Gespräch. Aber das Schulhaus blieb letztlich erhalten und wurde 1974/1975 zum Freizeit- und Jugendzentrum mit Gemeindebibliothek umgenutzt.