El Palacio del Vizconde de Eza fue construido por una de las familias más influyente de Soria en el s.XII. A este edificio también se le denominó San Clemente. Debido a su linaje, entre los títulos que ostenta es el de Vizconde Eza. Sin embargo, esta familia se emparentó en el s. XIX con los Marichalar, una de las familias nobles de Navarra, y a la que en la actualidad le pertenece este palacio.
En su comienzo el Palacio del Vizconde de Eza o de San Clemente, fue una casa fuerte, que tenía como propósito el defender el paño de murallas que son correspondientes a la calle Aduana Vieja. A lo largo de los años este palacio ha sufrido muchas modificaciones por diferentes motivos. Por ejemplo, cuando Napoleón entro en España, este palacio fue víctima de un incendio, aunque se tuvo que reparar los daños, se logró que la estructura original del palacio se mantuviera.
En el escudo de este palacio se puede visualizar unas cadenas en la parte inferior del balcón. Ese detalle es un símbolo que respalda la historia de que en ese palacio se hospedó Alfonso XIII (el Vizconde era ministro del gabinete de este rey). El Palacio del Vizconde de Eza se encuentra situado junto al Palacio Don Diego Solier y casi al frente del instituto Machado.