Fernando de la Riva Herrera decidió remoledar la torre medieval original y añadirle estos elementos, más acordes con una persona de su importancia y condición, pues era Proveedor General de las Armadas del Mar Océano.

La torre se remodela abriendo ventanales, añadiendo motivos heráldicos, así como remates en la cornisa de flameros y gárgolas. Se adosa un cuerpo horizontal de dos pisos, con fachada abierta mediante un pórtico de dos arcos escarzanos que da acceso al zaguán y que se divide con una columna central decorada con un capitel corintio simplificado.

La zona norte de este añadido la ocupa una pequeña capilla cubierta por una bóveda de crucería de arcos apuntados apoyados sobre ménsulas y con motivos heráldicos en sus claves.

De la misma época se conserva una portalada, con un magnífico escudo de los Riva-Herrera y Alvarado en el exterior, y un original reloj de sol, muy deteriorado, en su fachada interior.

El conjunto se completaba con una cerca defensiva, un patio de armas y algunas edificaciones secundarias hoy desaparecidas.

En la actualidad y después de una restauración completa del edificio, que estaba practicamente en ruinas, por parte del Ayuntamiento de Santander, alberga la sede de la Fundación Santander Creativa.