Su tutte le costruzioni dominava il castello, o meglio il palazzo baronale, ancora oggi in condizioni decenti. Esso, quasi certamente, fu fatto costruire da Giovanni Paladini intorno ai primi anni del 1600, subendo notevoli trasformazioni nei secoli successivi, specialmente nella facciata e nel cortile interno. Di originario gli rimane anche una delle due torri in pietra leccese di forma cilindrica in alto e a cono tronco in basso, situata nella parte posteriore del 'castello'.
La torre, casamatta nell'ultimo piano, è munita di petriere e saettiere, mentre nella parte inferiore interna presenta i resti di un frantoio ipogeo detto comunale anche se di proprietà dei signori del palazzo.

All' interno della stessa torre C. De Giorgi vi scoprì lo stemma dei Paladini, con due gigli bianchi su corpo rosso e due gigli rossi su corpo bianco e targa sormontata da un cimiero e riposa sulla croce di Malta (V. 'La provincia di Lecce' di C. De Giorgi vol. I pag.32).

Il piano inferiore del palazzo termina a scarpa e vi si accede attraverso una porta trapezoidale sormontata dallo stemma dei Lotti. Infatti il cav. Vincenzo Lotti comprò l'edificio dai Chiurlia di Baro, conti di Roccaforzata, lo trasformò in un vero e proprio Eldorado e, ingrandendolo, ne fece una ricca abitazione. Nella parte inferiore della costruzione che si affaccia sul cortile c'erano i

magazzini e le stalle, nella parte superiore c' erano gli appartamenti del Conte e dei 'forestieri'.

Lo stile architettonico tardo-rinascimentale del palazzo, costruito molto probabilmente con la consulenza di Gian Giacomo dell'Acaja, ha risentito dell'incuria del tempo e degli uomini  che per alcuni anni hanno adibito parte della costruzione alla lavorazione del tabacco.

Dell'antica ricchezza del palazzo, che oggi sorge al centro del paese, nella parte più alta,ma che fu costruito in luogo allora quasi disabitato, rimane ben poco o quasi nulla.

Infatti le stanze, la torre, i magazzini, le stalle, tutto è vuoto e solo le pareti massicce con le loro severe linee architettoniche sono testimoni  di una sontuosa costruzione in cui si svolgeva una vita lussuosa e talvolta lussuriosa. Non esistono più la cappella dedicata alla Vergine Annunziata situata sotto un arco nella prima sala del palazzo, l'armeria, il vasellame, l'argenteria, i servizi di cristallo, le tele di cui parla C. De Giorgi. Parte di tutto ciò 'prese il volo' per Napoli, parte fu   venduto a privati insieme allo stesso edificio dai Lotti che all'inizio del '900 si trasferirono definitivamente nella città partenopea. Al palazzo baronale è annesso ancora oggi un giardino, in cui, sempre secondo il De Giorgi, si sono rinvenuti cimeli archeologicamente interessanti di cui sono riportate notizie sulla sua opera 'La provincia d Lecce Bozzetti di viaggio' vol. I.

Una galleria sotterranea, che ancora esiste, ma purtroppo abbandonata, congiungeva il palazzo baronale con la cappella della Vergine Annunziata nel largo omonimo.

Nell'area attigua al palazzo sorgeva la cappella di San Salvatore , detta successivamente di S. Gregorio, con annesso cimitero (Per notizie più dettagliate consultare l'opera suddetta di C. De Giorgi).

Alle spalle del palazzo baronale oggi si può ancora ammirare, anche se non più in uso, una colombaia, torretta di forma cilindrica destinata ad un modesto allevamento di colombi. Essa era fornita di finestrelle di accesso e di cornicette aggettanti che servivano per agevolare i colombi nello spiccare il volo o nel posarsi. Nelle pareti interne la costruzione  era  tappezzata da  celle di forma cubica che ospitavano i nidi dei piccioni per la cova.