W latach 1554 -1580, Kasper Suski, wzniósł na lewym brzegu Skawy, u podnóży góry Jasień drewniano - kamienny dwór obronny, prawdopodobnie na miejscu drewnianego dworku Słupskich, który spłonął doszczętnie. Kolejny właściciel dóbr suskich Piotr Komorowski, w latach 1608 - 1614 przebudował jego siedzibę w okazałą renesansową rezydencję magnacką, wzorowaną na zamku królewskim w Krakowie. W wieży zegarowej ufundował kaplicę, nadając jej wezwanie swojego patrona św. Piotra Apostoła. Kamieniarkę kaplicy wykonał prawdopodobnie Flamand Paweł Baudarth. Wskazuje na to m.in.: charakterystyczne dla ręki tego artysty obramienie okna. Piotr Komorowski  tzw. Pagórku Wesołym (obecna ul. Kościelna) jako wotum za cudowne uzdrowienie z choroby oczu dokonał fundacji Parafii, sowicie łożąc na budowę kościoła (1614), klasztoru (1624) i zespołu siedmiu kaplic (1630). Posługę duszpasterską powierzył kanonikom regularnym laterańskim z kościoła Bożego Ciała z krakowskiego Kazimierza. Po jego bezpotomnej śmierci w 1640 roku, dobra suskie trafiły na krótko w ręce Krzysztofa Komorowskiego - syna jego brata Mikołaja. Niestety nie nacieszył się nimi zbyt długo, ponieważ zmarł w 1647 roku mając 29 lat po tragicznym upadku z konia w dniu chrzcin swojej jedynej córki Konstancji Krystyny.

Niespełna sto lat później, kolejną rozbudowę zamku przeprowadziła Anna Wielopolska, wznosząc nad najstarszą częścią obiektu dwie dodatkowe wieże: południowo-wschodnią i południowo - zachodnią. Przeprowadziła również barokizację wnętrz. W 2.poł. XIX wieku, już za czasów kolejnych właścicieli Branickich, rozebrane zostało skrzydło wschodnie wraz z bramą wjazdową, a park otoczony kamiennym murem. Obok swojej niekwestionowanej wartości architektonicznej, zamek stał się wówczas jedną z największych skarbnic wiedzy i twórczości piśmienniczej na ziemiach polskich. Znalazła tutaj swoją siedzibę wspaniała biblioteka, z niezwykle cennymi dla kultury polskiej zbiorami ksiąg, rękopisów, malarstwa, rzeźby i innych narodowych pamiątek. 

W latach 1882 - 1887 Władysław Branicki podjął kolejną generalną restaurację zamku, zatrudniając wybitnego architekta Tadeusza Stryjeńskiego. W tym czasie powstały stiukowe obramienia okien elewacji parkowej i obu wież (dzieło włoskich sztukatorów) oraz wszystkie stropy o konstrukcji stalowej. Tadeusz Stryjeński nadzorował również odbudowę zamku po pożarze, który nawiedził go 1905 roku. Po wybuchu II wojny światowej, gdy ostatni prywatny właściciel Juliusz Tarnowski wraz z rodziną udał się na emigrację, rezydencję zajęli Niemcy, a później wojska radzieckie. Sama budowla, (w przeciwieństwie do jej wnętrz), nie ucierpiała zbytnio w czasie wojennej pożogi, jednak wyposażenie oraz bezcenne zbiory biblioteczno-muzealne uległy rozproszeniu, rabunkom i dewastacji. Tylko część z nich zdołano uratować i włączyć w skład księgozbiorów różnych bibliotek na terenie Polski.

Po wojnie, w zamku funkcjonowało Liceum Ogólnokształcące i Internat. Przyziemie obiektu przeznaczono na magazyny, m.in.: Gminnej Spółdzielni „Samopomoc Chłopska”. Obiekt zamieszkiwali prywatni lokatorzy. W 1974 roku zamek został przejęty przez Państwowe Zbiory Sztuki na Wawelu. W tym czasie rozpoczęto prace renowacyjne, w celu przygotowania obiektu na cele muzealne. W parku zamkowym połączono dwa odrębne budynki gospodarcze, zamieszkiwane niegdyś przez zamkowego ogrodnika w jeden obiekt, z przeznaczeniem na izbę regionalną, tzw. „Domek Ogrodnika”. Niestety plany utworzenia muzeum wnętrz nie doczekały się szczęśliwego finału i pomimo dużego nakładu prac, z biegiem lat zabytkowy kompleks coraz bardziej podupadał. Gmina Sucha Beskidzka nie mogąc zaakceptować faktu, że ten cenny dla polskiej kultury zabytek nie jest udostępniony społeczeństwu, przejęła go od Skarbu Państwa w 1996 roku i od tej chwili dokłada wszelkich starań, aby odzyskał dawną świetność.

Dzisiaj zamek pełni rolę centrum kulturalnego dla miasta i regionu. W jego wnętrzach funkcjonują: Muzeum Miejskie Suchej Beskidzkiej, Miejski Ośrodek Kultury - Zamek z Galerią Sztuki, Wyższa Szkoła Turystyki i Ekologii oraz restauracja i hotel Kasper Suski.