A lado del altar Piccolomini se abre un ambiente llamado Biblioteca Piccolomini en el cual se funden arquitectura, escultura y pintura en un complejo absolutamente homogéneo. El Cardenal Francesco Piccolomini quería conservar aquí el precioso patrimonio librario de la familia recogido principalmente por el tío Pio II que era un grande Humanista y autor él mismo de obras literarias. En realidad la biblioteca nunca tuvo estos libros y se transformó en un magnífico ambiente de representancia totalmente dedicado a la exaltación de la figura del Papa Pio II y nunca utilizado para el culto religioso.
Los trabajos empezaron en 1492 transformando locales de la vieja sacristía en una única grande sala cubierta por una bóveda a pabellón; la parte baja de las paredes fué revestida con sillones de madera tarseados entre 1495 y 1496 por Antonio Barili (después fueron cambiados un poco y destruidos en el siglo XVIII). En el centro de la sala colocaron el maravilloso grupo de mármol de las Tres Gracias, copia de época romana de un original griego que testimonia los intereses humanísticos de la familia Piccolomini. En 1497 el senés Lorenzo di Mariano llamado el Marrina realizó el rico prospecto de mármol que decora la parte exterior de la biblioteca.
Pero la obra que sobretodo da al ambiente, la grande magnificienza que durante los siglos ha interesado a los visitantes es la parte pictórica: su ejecución fue comisionada al Pinturicchio un artista umbro que en aquel momento se encontraba al máximo de la fama. Como de costumbre acabaron primero los frescos del techo en los cuales el artista fue ayudado por muchos colaboradores. En la vasta superficie de la bóveda están representadas las Virtudes y mitos paganos y sobretodo, un grandísimo repertorio de decoración “grutesca” que representaba en aquella época la última actualización del gusto del tiempo. Esta pintura grutesca se llamaba así porqué fue inspirada por las pinturas encontradas al final del Cuatroscientos en los hallazgos subterráneos de la Domus Aurea de Nerón y enseguida repropuesta por los pintores que iban alli para estudiarlas de persona y se caraterizan por elementos heterogéneos como criaturas fantásticas, seres híbridos, amorcillos, mascarones y elementos vegetales.
Cuando los frescos del techo fueron terminados en 1503, Francesco Piccolomini murió después de pocos dias de pontificado. Esto determinó la interrupción de los trabajos, que fueron reiniciados en 1505 por voluntad de Andrea Nanni Piccolomini, quien quiso honorar la memoria de Francesco, su hermano muerto dos años antes con el fresco pintado en la parte superior del frente de la Biblioteca y que representa la Incoronación de Pio III. Después de éste, el Pinturicchio, respetando la voluntad del difunto comitente, empezó la decoración de las paredes de la sala que se desarrolla en diez escenas como una verdadera ‘biografía pintada’ de Pio II.
Las paredes presentan diez bóvedas separadas por pilares ornamentados con grutescas, como si representaran una larga galería: cada bóveda representa una ‘ventana’ que se abre en la escena y el tema tratado está explicado en la inscripción de abajo. Las diez escenas tienen una calidad pictórica de altísimo nivel y siempre han emocionado a los visitantes por los colores brillantes conservados en manera perfecta y por la extraordinaria riqueza de particulares. Las composiciones, a pesar de que se encuentren muchos personajes, siempre evidencian a la figura del protagonista, Pio II,de tal manera que se individua enseguida en cada escena. Los esfondos alternan paisajes verdes con vistas de interiores en una sucesión muy agradable y nunca monótona.
La lectura de las historias, inicia en la pared opuesta a la de la entrada, a la derecha de la grande ventana y sigue en sentido horario según un orden cronológico. Representan: la salida de Enea Silvio Piccolomini para el Concilio de Basilea; Enea Silvio embajador en la corte de Escocia; Enea Silvio encoronado poeta por el emperador Federigo III; Enea Silvio se concilia con el legítimo Pontéfice Eugenio IV y recibe las órdenes clericales para el Episcopado; Enea Silvio como Obispo de Siena, recibe en Puerta Camollia a la pareja imperial Federigo III y Eleonora de Portugal; Enea Silvio elegido Cardenal por el Papa Calisto III; Enea Silvio encoronado Papa Pio II; Pio II convoca en Mantova a los primeros cristianos para organizar una cruzada contra los Turcos; Pio II canoniza a Santa Catalina de Siena; Pio II, ya enfermo, llega a Ancona para empezar la cruzada.
Debajo de los frescos, dentro de las cristaleras, se pueden admirar unos preciosos antifonarios, libros de Cantos Gregorianos, utilizados por los Canónicos del Capítulo para la celebración de la Liturgía de las Horas. Están ornamentados por maravillosas miniaturas realizadas por Girolamo de Cremona, Liberale de Verona y otros artistas de la segunda mitad del siglo XV.
El piso de fabricación Ginori fue realizado en el siglo XIX copiando el modelo original en cerámica azul cobalto con la media luna dorada símbolo heráldico de la familia.