A neobarokk stílusú, 85 szobás épületbe 1913-ban költözött be a környék leggazdagabb - 16 és fél ezer holdon gazdálkodó - földbirtokosa, gróf Széchenyi Andor Pál. Az építtető 1943-ban hunyt el, a nagycenki családi sírboltban nyugszanak hamvai. A kórház eredeti épületét a Kossuth Lajos utcában a második világháborúban bombatalálat érte emiatt 1944 decembere óta a kórház a kastélyban működik.
