Von der Zerstörung bis zum teilweisen Wiederbau: Die Schlossanlage hat viel erlebt. Heute ist die Anlage bei Hochzeitspaaren, Gesellschaften und Kulturveranstaltern sehr beliebt. Die Räume im Turm können gemietet werden. Der Verein "Pro Schloss Pfäffikon" bietet auch Führungen an.
Mitte des 13. Jahrhunderts liess Abt Anselm von Schwanden den heutigen Schlossturm bauen zur Abwehr feindlicher Angriffe und zum Schutz der Einkünfte aus den Klosterländereien. 1299 verstärkte man mit grossem Aufwand die Anlage mit Mauern, Wällen und Wassergräben.
Da die Anlage wiederholt auch als Abtsresidenz dienen musste, wurden unter der Leitung von Abt Burkhard von Weissenburg zu Beginn des 15. Jahrhunderts Wohnbauten bei der Turmanlage errichtet. Von nun an wurde das Schloss die "Weissenburg" genannt. 1567 errichtete Abt Joachim von Eichhorn an der jetzigen Stelle eine gotische Kapelle, die 1785 im Barockstil umgestaltet wurde.
Für das Kloster Einsiedeln war die Anlage sehr wichtig. 1480 fand hier die Abtwahl statt, und 1577 diente sie den Einsiedler Mönchen während 7 Monaten als Zufluchtsort, als das Kloster und das Dorf Einsiedeln einem Grossbrand zum Opfer fielen. Die Schlossanlage diente dem Kloster bis ins 18. Jahrhundert als Verwaltungszentrum und wurde schliesslich durch die neu daneben erstellte barocke Statthalterei abgelöst.
Als Wehrbau unterstand die Burg Pfäffikon nicht nur dem Kloster Einsiedeln, sondern auch den Schirmvögten über die Höfe, den Herren von Rapperwil, dem Grafen von Habsburg, Zürich und Schwyz. Dadurch wurde das Schloss in zahlreiche kriegerische Auseinandersetzungen verwickelt.