La prima biblioteca a San Vito dei Normanni fu fondata dai Padri Domenicani nel loro Convento. Il patrimonio era composto da migliaia di libri rilegati in pelle e ordinati in nove grandi armadi. Dopo il 1809 i Padri Domenicani abbandonarono il Convento e i libri iniziarono un lungo peregrinare in attesa di essere collocati in una nuova sede. Purtroppo, quando finalmente si decise di ripristinare la biblioteca, dei libri non vi era più alcuna traccia.

Il sindaco Vincenzo Trizza, nel 1946, nominò una commissione che si occupasse della riorganizzazione della Biblioteca. Gli intellettuali locali accolsero la proposta con grande entusiasmo e donarono 750 volumi. Furono, inoltre, acquistati 450 libri di classici, due enciclopedie e alcune raccolte di libri di autori conterranei.
Nonostante il grande impegno profuso, il programma di riorganizzazione della biblioteca non fu mai portato a termine.

Fu nel 1962 che venne costituita l'attuale Biblioteca Comunale, grazie all'interessamento del prof. Angelo Pagliara, all'epoca Assessore Anziano, che si prodigò inviando lettere alle più alte cariche dello Stato e della Chiesa per chiedere l'invio di materiale librario. Tra questi, Papa Giovanni XXIII fu il primo a rispondere donando tre volumi dei suoi discorsi con firma autografa e, per questa ragione, la Biblioteca è stata a lui dedicata.

Dal 1962 ad oggi la Biblioteca Comunale ha avuto diverse sedi. La prima di queste fu in piazza Carducci nei locali del Palazzo dell'Orologio. In seguito, il Prof. Pagliara ne propose il trasferimento nei locali dell'ex cinema Leo, in via Cavour. Quando si rese necessario procedere ad interventi di restauro di questi locali, la Biblioteca fu dislocata temporaneamente in via Vittorio Emanuele III, dove vi rimase per circa dieci anni e, quando i lavori vennero portati a termine, ritornò nella sede in via Cavour.

Dal 2001 la Biblioteca Comunale ha una sede definitiva; è stata ricollocata, infatti, nell'edificio che per primo l'aveva ospitata e che per la nostra città rappresenta uno dei più bei monumenti architettonici: il seicentesco ex Convento dei Domenicani.