Im Jahre 1313 errichtete Herzog Bolesław, der Sohn des Oppelner Herzogs Bolko I., auf dem Platz der aus dem 8. Jahrhundert stammenden Kastellanei ein gemauertes Schloss. Das alte gotische Bauwerk verschmolz völlig mit den späteren Renaissancemauern, deshalb lässt es sich nicht, sein Aussehen wiederherrzustellen. Bis zum Jahre 1532 blieb das Schloss das Eigentum der Schlesier Piast-Herzöge. In seiner jahrhundertealten Geschichte war das Schloss mehrmals zerstört und wiederaufgebaut. Es wurde von den Hussiten im 15. Jahrhundert zerstört, dann gab es den Brand im Jahre 1552, es litt auch aufgrund des Dreißigjährigen Krieges.
Die nächsten Besitzer waren die deutschen aristokratischen Familien: Hohenzollern, Logau, Puckler, Promnitz und Praschma. Im 16. und 17. Jahrhundert wurde das Schloss in eine Renaissanceresidenz umgebaut, die um einen rechteckigen, von den Arkaden umstellten Hof gebaut wurde, und im 18. Jahrhundert wurde es im Barockstil renoviert.
Im 18. Jahrhundert wurde über dem ehemaligen Festungsgraben eine mit Skulpturen geschmückte Steinbrücke gezogen. Sie verband mit dem Schloss die in der ersten Hälfte des 19. Jahrhunderts errichteten wirtschaftlichen Gebäuden. Im 19. Jahrhundert wurden die Kreuzgänge teilweise zugemauert und die Kapelle vollständig umgebaut. Der letzte Besitzer des Schlosses Falkenberg war, bis zum Jahre 1945, Graf Friedrich Leopold von Praschma.
Nach dem 2. Weltkrieg war das Schloss der Sitz: des Staatlichen Repatriierungsamtes, eines Lyzeums und einer Unteroffiziersschule. Dann stand er 10 Jahre lang verlassen und verfiel.
Im Jahre 1990 kaufte das ruinierte Objekt ein Privatinvestor. In den Schlossmauern drehte Jan Jakub Kolski den Film Jasminum, der seine Premiere im Jahre 2006 hatte. In demselben Jahr wurde der Lodzer Institut für Schöpferische Vorgehensweise (IPT) zum Besitzer. Im Jahre 2015 wurde das Schloss von der Gesellschaft Centrum aus Lodz übernommen.