La biblioteca se encuentra en la cuarta planta del centro cívico de Castaños, inaugurado tras su remodelación en abril de 2009. Este edificio fue diseñado en 1905 por Ricardo Bastida (el mismo arquitecto de La Alhóndiga, con la que guarda mucho parecido). Su fachada contiene ladrillos y azulejos con un estilo modernista. En sus inicios era lavadero público para pasar posteriormente a ser mercado municipal y en la actualidad es un centro cívico.