Het gebouw werd begin zeventiende eeuw door de jezuïeten opgetrokken voor verschillende broederschappen of sodaliteiten. Voorname burgers kwamen er samen in het prachtige barokke interieur, dat versierd was met kostbaarheden. Na de opheffing van de jezuïetenorde in 1773 werd de inboedel, met onder meer schilderijen van Rubens en Van Dyck, verkocht. Daarna kende de Sodaliteit verschillende invullingen. In 1879 werd het gebouw door de stad gekocht om er de Stadsbibliotheek in onder te brengen.
Architect Pieter Dens (1819-1901) zorgde voor de omvorming van de voormalige Sodaliteit tot Stadsbibliotheek. De vloer op de eerste verdieping werd uitgebroken. Het resultaat was een dertien meter hoge zaal met drie rondomlopende gaanderijen in smeedijzer, die verbonden waren via gietijzeren trappen. Dat je vanuit de leeszaal in één oogopslag de volledige ruimte kon overzien, gaf volgens toenmalig bibliothecaris Hansen ‘eenen tooverachtigen indruk’. In 1883 werd de nieuwe bibliotheek in gebruik genomen en verhuisde de collectie uit het Stadhuis naar de huidige locatie.
Omdat men al snel te kampen kreeg met plaatsgebrek, werd rond 1930 de vloer op de eerste verdieping teruggelegd. Een nieuwe leeszaal werd ingericht in een aangrenzend pand. De oude leeszaal werd omgevormd tot twee verdiepingen boekenmagazijn en op de tweede en derde verdieping kwam de Nottebohmzaal. De sfeer van 1883 bleef grotendeels behouden, toen de Nottebohmzaal in 1936 werd ingericht.
Naast boekenmagazijn, pronkzaal en tentoonstellingsruimte is de Nottebohmzaal een schatkamer voor bijzondere schenkingen en topstukken uit de collectie, zoals de globes van Blaeu, de Egyptische kast, de Egyptische dodenpapyrus en verschillende borstbeelden. De zaal dankt haar naam aan de Antwerpse mecenas Oscar Nottebohm, een Duits zakenman die bij zijn dood in 1935 een belangrijke som geld schonk aan de Stadsbibliotheek.
