El origen de la Biblioteca Foral de Bizkaia lo encontramos en la biblioteca personal de don Fidel de Sagarminaga. Político, escritor y poseedor de una interesantísima biblioteca de casi 12.000 volúmenes, compuesta de obras históricas, obras literarias nacionales y extranjeras, de temática vasca, folletos y revistas extranjeras. Tras su muerte, el 21 de marzo de 1894, sus herederos ofrecieron su magnífica biblioteca al presidente de la Diputación vizcaina. 

En el momento de esta importante donación la Diputación carecía de biblioteca propiamente dicha, de modo que los fondos se ubicaron en la sede de la Corporación, en la Plaza Nueva de Bilbao. En febrero de 1890, se había adquirido un solar abierto en la Gran Vía, en terrenos del antiguo linaje orduñarra de los Arbieto, para la construcción del nuevo Palacio de la Diputación. Se pensó en un edificio público ambicioso, con áreas destinadas a Imprenta, Archivo y Biblioteca. Bajo la dirección del arquitecto donostiarra Luis Aladrén, las obras duraron 10 años, y la inauguración de la nueva sede de la Diputación tuvo lugar el 31 de julio de 1900, festividad de San Ignacio.

En un principio la biblioteca de Sagarminaga se ubicó en el último piso del Palacio, pero su complicado acceso aconsejó la reubicación de los fondos en la planta baja del edificio. Tras una serie de obras, que finalizaron en febrero de 1907, se disponía de un espacio formado por tres amplias salas destinadas a Biblioteca provincial: una de ellas para las obras de carácter vasco y las otras dos, de carácter general. Allí, don Carmelo de Echegaray, Cronista de las Provincias Bascongadas, se dedicó a ordenar legajos, registrar y catalogar libros y manuscritos, en suma, a organizar el archivo y biblioteca que, tras 13 largos años desde su donación, por fin se ponía a disposición de los estudiosos, investigadores y público en general. Pero la complejidad de la vida administrativa de Bizkaia originó la rápida saturación de las diversas dependencias del Palacio, entre ellas las destinadas a biblioteca y archivo. Era urgente, pues, poner remedio a tal situación. Por ello, en 1921 se decidió encargar la redacción de un proyecto que, modificando el inmueble adquirido el año anterior por la Diputación en la parte posterior del Palacio, supusiera la creación de un Archivo, Biblioteca e Imprenta Provincial. Dicho edificio, construido a finales del siglo XIX, tuvo varios usos antes de convertirse en biblioteca. Desde 1893 estuvo ocupado por la Academia Politécnica de Bilbao y hacia 1902 por la Academia de San Fernando. Ambos centros estuvieron adscritos al Instituto y a la Escuela Superior de Comercio de Bilbao, y en ellos se impartían estudios de primaria, bachillerato, comercio y náutica, y se preparaba para el ingreso en la Escuela de Ingenieros Industriales. En diciembre de 1914, parte del edificio se alquiló al Círculo de Bellas Artes y Ateneo de Bilbao. También se tiene noticia de que el periódico El Liberal tuvo su sede allí entre el 29 de marzo de 1915 y el 6 de noviembre de 1921, en que se trasladó a la calle Obispo Orueta.

En sesión de 19 de diciembre de 1921, la Diputación aprobó el proyecto presentado por el arquitecto Juan Carlos Guerra para la reforma íntegra del edificio y su conversión en Biblioteca, Archivo e Imprenta. Las obras encontraron múltiples dificultades y no se desarrollaron con la celeridad deseada. En mayo de 1924, el propio Guerra se quejaba de que los locales objeto de reforma seguían ocupados por el Ateneo (que inauguró el 4 de enero de 1925 su nueva sede en el Hotel Carlton), y por la Caja de Ahorros Provincial y el Cuerpo de Seguridad, instalados provisionalmente. La inauguración oficial tuvo lugar el 22 de agosto de 1929. Por otra parte, un año antes, el 27 de agosto de 1928, la Comisión de Archivos y Bibliotecas había decidido que la parte trasera del edificio se habilitara como nueva sede del Conservatorio Vizcaino de Música. De modo que para el curso 1929-1930 el Conservatorio ya funcionaba en el nuevo edificio.

En el momento de la inauguración, la Biblioteca disponía de un fondo de 18. 000 volúmenes perfectamente ordenado y catalogado, y distribuido en dos secciones, la general y la bascongada. Esta división data de su primer reglamento redactado en 1907, y se justificó por tratarse de una biblioteca creada a partir de los fondos de uno de los escritores vascos más eruditos, perteneciente además a la Corporación vizcaina y con el objetivo de facilitar la labor a los investigadores del País. De la sección bascongada se publicó en 1919 un Catálogo de autores realizado por Darío de Areitio, primer responsable del Archivo y Biblioteca. El propio Areitio describió la nueva Biblioteca con estas palabras: El edificio consta de sótano donde están colocadas las obras repetidas; el entresuelo sirve de depósito de libros; en el piso primero están instaladas, a disposición del público, la sala de catálogos y la de lectura; en el piso segundo se encuentra el Archivo Histórico, y cuatro despachos para investigadores que tengan necesidad de libros y documentos, para que al terminar su labor diaria puedan dejar en su mesa todos los materiales, entregando la llave de la cabina. En los dos pisos siguientes está instalado el Archivo Administrativo. El edificio disponía asimismo de un departamento de encuadernación y un laboratorio fotográfico.

En 1965, se acondicionó una amplia sala con hermosos ventanales a Rodríguez Arias para uso de los estudiantes. Sala de estudios que se amplió y reubicó en 1988 en las dependencias que había ocupado la Imprenta (que se había trasladado el año anterior). La nueva sala constaba de dos pisos: la planta baja dotada de mesas para trabajos individuales, y la segunda, en forma de corredor, para la realización de trabajos en equipo. En abril de 1988, se separaron la Biblioteca y el Archivo, trasladándose éste a un nuevo edificio en la calle María Díaz de Haro. La Biblioteca, desbordada por la falta de espacio y desfasada en cuanto a los servicios que ofrecía, comenzó una primera remodelación, ampliación y acondicionamiento de los espacios físico pero el crecimiento de los ricos fondos bibliográficos y hemerográficos de que dispone la Biblioteca Foral provocaron nuevamente la saturación de sus instalaciones. Por ello, desde el 30 de octubre de 2003 se abordó un ambicioso proyecto de ampliación y reforma del edificio bajo la dirección de los arquitectos de IMB. El resultado es una Biblioteca adaptada a la realidad cultural de Bizkaia, con nuevos servicios que permitan responder a los retos planteados por la sociedad del siglo XXI.