Die Eröffnung des Gotthardpasses um 1200 machte Horgen zum wichtigen Umschlagplatz der Nord-Südroute. Hier wurden Waren von Schiffen auf Saumtiere umgeladen und auf dem Säumerweg über Hirzel-Sihlbrugg nach Zug und über den Gotthard nach Italien geführt. 1406 erwarb die Stadt Zürich die Vogtei Horgen und beaufsichtigte fortan den Warenumschlag.

1527/28 entstand durch Umbau eines Privathauses ein obrigkeitliches Sustgebäude mit Zollstation. Im heutigen Gebäude sind möglicherweise noch Reste dieser ersten Sust erhalten. Die genaue Baugeschichte bleibt aber unklar. Dokumentiert sind mehrere Bauetappen, die das Erscheinungsbild laufend veränderten. Um 1780 wurde beispielsweise anstelle des früheren Giebeldaches das heutige Walmdach aufgesetzt.

Im Zuge der Liberalisierung des Handels wurden 1835 die innerkantonalen Zölle und Weggelder aufgehoben. Dadurch wurde die Zollstation in der Sust überflüssig, und der Kanton verkaufte das Gebäude 1838 der Gemeinde Horgen. Von 1838 bis 1845 diente ein Zimmer im ersten Obergeschoss als Sekundarschullokal. 1957 wurde in der Sust ein Ortsmuseum eingerichtet. Dieses belegte zunächst drei Räume, konnte aber nach der Renovation von 1964 bis 1967 auf das ganze Gebäude erweitert werden.