Nadat de stedelijke bibliotheek, die al in de zestiende eeuw bestond, en de nieuwe kapittelbibliotheek, opgericht in 1608, waren gefusioneerd, werden de boeken in 1648 overgebracht van het bisschoppelijk seminarie naar de Handelsbeurs. Die stond immers leeg, aangezien de Antwerpse handel door de sluiting van de Schelde sterk achteruitging. Niet toevallig is 1648 ook het jaar van de Vrede van Münster: de Tachtigjarige Oorlog was voorbij, maar de Scheldemonding lag daarmee ook definitief buiten controle van de Zuidelijke Nederlanden. De Handelsbeurs werd daarom herbestemd tot een locatie voor culturele aangelegenheden: naast de bibliotheek vond ook de 'Schilderskamer', het clublokaal van de Sint-Lucasgilde er onderdak. Na de stichting van de academie in 1663 werd ook de academie ondergebracht in de Handelsbeurs.
Bijzondere boekbanden
Het beheer over de bibliotheek werd toegewezen aan de stadssecretaris, de geleerde humanist Caspar Gevartius (1593-1666). Hij stelde een (verloren gegane) inventaris van de bibliotheek op, en stelde in 1651 de boekbinder Bernaert Keseman aan als ‘guarde ende toesinder van de bibliothecque publicque deser stadt’. Keseman kreeg ook de opdracht om nieuwe schenkingen van boeken in te binden. Het was vooral Balthasar II Moretus (1615-1674), de leider van de Plantijnse drukkerij en een goede vriend van Gevartius, die de bibliotheek in deze periode verrijkte met een aantal werken die zijn oom Balthasar I Moretus en hijzelf hadden gedrukt. Keseman bond ze in stevige lederen boekbanden, versierd met lijn- en rolstempels en bestempeld met het wapen van de stad Antwerpen, de naam van de bibliotheek en van de schenker. Het werk duurde vijf jaar (1653-1658), en Keseman verdiende er goed aan. Na afloop werd Keseman echter nauwelijks nog vergoed voor zijn werk als conciërge, en verwaarloosde hij zijn taak. Regelmatig verdwenen er boeken uit de bibliotheek. Keseman werd uiteindelijk in 1663 ontslagen. Een jaar later nam Gevartius ontslag als stadssecretaris.
De stadsbibliotheek raakte nu helemaal verwaarloosd, tot de nieuwe stadssecretaris Andries van Valckenisse in 1677 de opdracht kreeg het beheer van de bibliotheek over te nemen. Hij begon een nieuwe catalogus op te stellen en stelde voor om de bibliotheek van de Beurs weg te halen en ze op het stadhuis onder te brengen. Dat gebeurde pas tien jaar later, in 1687. Tot 1883 zou de bibliotheek op het stadhuis gevestigd blijven.
