L'histoire de l'institution commence en 1885, avec sa fondation par le décret du 8 mars 1885 sous le nom de Bibliothèque française1 ; Ali III Bey, le bey de Tunis régnant, y ordonne la création d'une bibliothèque complète, constituée initialement de collections offertes par la direction de l'instruction publique puis de la bibliothèque de Charles-Joseph Tissot, ancien consul de France en Tunisie2.
Elle est logée dans le bâtiment n°20 du souk El Attarine. En 1910, une partie du fonds de la bibliothèque en pleine expansion est transféré dans l'ancienne caserne El Attarine, construite en 1810 par Hammouda Pacha pour servir de casernement aux troupes des janissaires puis de prison3,1. La bibliothèque connaît alors son véritable démarrage avec la nomination d'un nouveau conservateur, Louis Barbeau. Elle prend alors le nom de Bibliothèque publique de Tunis avant de prendre son nom actuel en 19651.
Le 7 septembre 1967, un décret le charge de regrouper et conserver les manuscrits conservés dans les bibliothèques publiques, mosquées et zaouïas4. À l'indépendance de la Tunisie, en 1956, les ouvrages en arabe n'excèdent pas un sixième des fonds, situation qui évolue avec la nomination d'Othman Kaak à la direction2.
Néanmoins, ses installations sont plus en plus insuffisantes pour faire face aux exigences modernes. Au nom du gouvernement tunisien, un expert de l'Unesco étudie en janvier 1985la situation de la bibliothèque et ses besoins en termes de préservation et de conservation ; la situation des stocks est notamment au centre de l'attention5.
La bibliothèque occupe depuis le 1er décembre 2005 un bâtiment moderne de 35 000 m2 situé au boulevard 9-Avril 1938 et inauguré par le président Zine el-Abidine Ben Ali6 ; la première pierre avait été posée le 8 décembre 1984 par le Premier ministre Mohamed Mzali5.
Il regroupe une salle de lecture, une salle de conférences, des laboratoires, une galerie d'exposition, un bloc de services techniques et administratifs, un relais ouvert aux visiteurs, un restaurant, un parking et un espace vert couvrant 10 300 m23.