Se edificó en 1557 por ingenieros italianos, reinando Carlos I y de acuerdo con el plan de defensa de la costa contra los piratas berberiscos, hecho frecuente en nuestras costas en los siglos XVI y XVII. La orden de construcción fue dada por el virrey de València Bernardino de Cárdenas y Pacheco, y fue levantado sobre una antigua torre del s.XIV que protegía el puerto.
La fortaleza es de planta cuadrangular, formando un espacio rodeado de sólidos muros con sendos torreones en sus cuatro esquinas, de los cuales sólo uno ha llegado hasta nosotros. Su puerta principal de acceso, del s.XVIII, está en la fachada de poniente, protegida por otro torreón de la misma época.
Su obra principal es de mampostería con piedra de gran tamaño y reforzada por sillares en las esquinas. Toda la muralla dispone de cornisa y terraza, y en su interior alberga distintas dependencias de instituciones municipales, un museo arqueológico y un acuario.
En el interior se halla el patio de armas y el aljibe, con la Capilla de la Virgen de Loreto y el Museo del Mar. Actualmente, el CastilloFortaleza se halla convertido en Centro Cultural, en el que se desarrollan actividades de carácter cultural, festivo y religioso.
Aunque muy modificado por los distintos usos a que ha sido destinado, se encuentra en buen estado de conservación. En la actualidad alberga los Museos del Mar y de la Pesca, el Salón de Actos de Baluarte del Duque, la Capilla de la Virgen de Loreto y la Sala Municipal de Exposiciones. Está abierto todos los días y goza de entrada libre.