Il piccolo borgo e le terre circostanti  furono nei secoli proprietà di molti feudatari.

Il primo nome che viene citato è quello di Bartolomeo di Torraca proprietario di terre e di beni, successivamente nel 1270 il feudo passò nelle mani del nobile Francesco Sanseverino, conte di  Lauria che lo diede in subfeudo a Tommaso Monforte di Laurito.

Dalla fine del 1300 il feudo è oggetto di una lunga serie di vendite e tra i proprietari  più illustri annoverati ricordiamo i De Freda e i Gambacorta.                                                                                   

Nel 1599 il feudo passa  nelle mani di Decio Palamolla, barone di Scalea che si trasferisce  a Torraca per la bellezza del posto e per le favorevoli condizioni metereologiche. Fu il primo barone di Torraca e di  Sapri, al tempo territorio torrachese. Decio Palamolla sposò Brianna Gaetani  e nei successivi tre secoli si susseguirono ben 7 baroni della stessa dinastia: Carlo, Vespasiano, Francesco, Biagio etc.

Nel 1852 nel corso di una  sua visita in Calabria, Ferdinando II, Re delle due Sicilie (1830 al 1859), il 27 settembre sbarcando dalla nave Carlo III, approdò a Sapri e fu ospite del Barone Biagio Palamolla a Torraca…

Il Re fu accolto con festose manifestazioni: luminarie, spettacoli, giochi di fuoco e danze.

In quell’ occasione fu donata al barone Palamolla una carrozza, segno di gratitudine del Re Ferdinando.

Della visita del Re ne danno testimonianza una lapide sulla facciata interna del castello, la cui scritta recita:

Ferdinando II Re delle due Sicilie
Sopra tutti i principi predecessori nelle arti della pace e
della guerra
Con lode di tutti  superiore perlustrando la regione Calabria per ragioni di Stato
Avendo riposato in queste mura
Il popolo di Torraca esultante per la gioia
esilarò con la sua paroleaffinchè non si perdesse a Torraca il ricordo del Re
Così eccelso ospite questa pietra ad imperituro ricordo
Biagio Palamolla Marchese di Poppano pose.
Anno della salute 1852
8 ottobre