Fu edificato per volontà di Federico II nel 1233; conserva l'originaria configurazione a pianta quadrangolare, potenziata da quattro torri agli spigoli e da un muro di cinta, realizzato nel 1249 da Stefano di Romualdo Carabarese su progetto di Filippo Cinardo.
Dal 1533 al 1541 il Castello fu adeguato da Carlo V alle mutate esigenze dettate dall'impiego delle armi da fuoco: il fronte sud fu fortemente ispessito e munito di cannoniere; due bastioni - uno a punta di lancia, l'altro a pianta quadrata - innalzati rispettivamente a ridosso degli spigoli sud ovest e nord est, garantirono la totale protezione dell'intero complesso.
Dal 1586 al 1677 fu sede della Sacra Regia Udienza della Provincia di Bari; dal 1832 al 1844 fu completamente rimaneggiato per essere trasformato in Carcere Centrale Provinciale; nel 1848 fu innalzata la piccola torre dell'orologio sull'ingresso orientale.
Cessata nel 1974 la funzione detentiva nel 1976 il Castello veniva consegnato alla Soprintendenza per i Beni A.A.A.S. della Puglia che nel 1979 ne avviava i restauri.