A Széchenyiek már az 1700-as évek végén birtokoltak egy 14 szobás, L alakú nyári lakot a mostani kastély területén, ahol Széchényi Ferenc (Széchényi István apja) rendszeresen töltött napokat, sőt 1800-ban a napóleoni háborúk kitörésekor az egész család ide költözött, majd később, 1809-ben szintén, mikor nagycenki birtokuk is a franciák kezére került.
A marcali ingatlant végül, Széchényi Pálon keresztül fia, Széchényi Gyula örökölte, aki a kor legendás építészétől Ybl Miklóstól rendelte meg egy új kastély terveit. A szintén derékszöget bezáró, 30 szobás épületet a család tagjai még mindig nem véglegesen lakták, ám Gyula után fia, Széchényi Andor Pál lett az új tulajdonos, aki már otthonaként kezelte az ingatlant gyermekeivel és feleségével egyetemben. A nemesi rétegben, a dualizmus kori gazdasági fellendülés okán, valóságos kastélyépítési láz alakult ki, melynek persze a Széchenyiek sem tudtak ellenállni, így a család egy újabb kastély terveit rendelte meg ezúttal egy jó nevű bécsi építésztől, Viktor Sidektől.
Az új, neobarokk épület 1912-ben már állt és a következő évben pedig már költözhetővé is vált. Impozáns méreteivel és kivitelezésével minden ízében korszerűnek számított akkoriban. Széchényi Andor Pál halála után, 1943-ban fia, Széchényi Endre kezére szállt, aki a világháború miatt hamarosan külföldre távozott. 1944-ben katonai kórházat rendeztek be a kastélyban és azóta máig kórházként funkcionál.