La storia del castello è strettamente legata alla figura di Giacomo Caldora, il capitano di ventura che nel 1439, impadronitosi della città, provvide alla sua fortificazione con il rinnovamento delle mura e l’aggiornamento della fortificazione ai nuovi sistemi difensivi. Il forte venne ad impiantarsi su una precedente costruzione, la quale a sua volta poggiava le proprie fondazioni sulle strutture murarie che costituivano l’entrata settentrionale dell’anfiteatro romano di Histonium e che sono ancora chiaramente visibili dai sotterranei del palazzo. L’edificio originario aveva probabilmente una pianta rettangolare, come l’attuale, ma più piccola, con quattro torri cilindriche agli angoli e un’altra torre maggiore al centro del cortile. Nel 1439 il forte viene trasformato e rinforzato da grandi bastioni angolari a mandorla e irrobustito da più spesse cortine murarie.
Sul lato occidentale del perimetro urbano che comprende anche il castello oggi è possibile osservare come il sistema difensivo delle mura urbiche si completi con le torri di Bassano, di Santo Spirito e Diomede del Moro, alterate nell’impianto quattrocentesco a seguito delle sopraelevazioni successive. In seguito alle distruzioni subite dalla popolazione vastese nel corso dei tumulti del XV secolo, il castello venne fortemente rimaneggiato sul finire dello stesso secolo da Innico d’Avalos, al quale si devono molti degli interventi che hanno conferito alla costruzione l’aspetto attuale: egli vi fece ricostruire i 4 baluardi, ricavare i fossati e la torre che si vede a Nord.
Il restauro effettuato dai d’Avalos, pur grossolano, rispettò le linee architettoniche primitive, donando all’edificio una certa continuità fino al 1816, data che sarà ricordata come l’inizio di un inesorabile stravolgimento dell’intero fabbricato. Nuove costruzioni di tutt’altro stile, infatti, si legarono gradualmente alla struttura, fino a rendere il lato occidentale praticamente irriconoscibile. Oggi il forte si presenta dunque come un monumento “palinsesto”, con i bastioni aragonesi che avvolgono il precedente nucleo angioino e con aggiunte e sopraelevazioni esterne, iniziate a partire dal XVIII secolo, che hanno via via privato la struttura del suo uso e dunque del suo aspetto militare, per adeguarlo a nuove funzioni residenziali.