Der herrschaftliche Landsitz wurde 1770/1771 von Landrichter Josef Anton Custor gebaut und galt als einer der schönsten Profanbauten in der Grafschaft Uznach. Der Erbauer starb 1783. Das Haus wurde in der Folge vom wohl bekanntesten Eschenbacher, nämlich Landammann Johann Ulrich Custor, übernommen, der es bis zu seinem Tode im Jahre 1811 bewohnte.

Das Custorhaus erlebte eine wechselvolle Geschichte. Wiederholte Besitzerwechsel, Teilung in zwei Haushälften, Verkauf des Umschwungs und mangelhafter Unterhalt überliessen bis in die zweite Hälfte des letzten Jahrhunderts das einst „schönste Haus im Lande“ ständig mehr dem Zerfall. Anfangs der fünfziger Jahre befand sich das Custorhaus in einem derart desolaten Zustand, dass niemand mehr darin wohnen mochte. Ein Abbruch des baufälligen Custorhauses schien unumgänglich, als 1970 buchstäblich in letzter Minute in der Firma Geberit ein Interessent gefunden werden konnte, der sich dem Abbruchobjekt liebevoll annahm und es sowohl innen als auch aussen vollständig restaurierte und in den ursprünglichen Zustand zurück versetzte. Während mehr als drei Jahrzehnten diente das Custorhaus der Firma Geberit als Schulungszentrum. Seit dem Jahr 2007 befindet sich das Custorhaus im Eigentum der Politischen Gemeinde und kann für öffentliche, kulturelle und private Anlässe sowie für Trauungen benutzt werden.