Het Sint-Baafshuis bevindt zich binnen de omwalling van de eerste kern van Gent, binnen de Portus aan de Reep. Bij een latere uitbreiding van onze stad en op basis van wetenschappelijk en archeologisch onderzoek weten wij dat zich hier in de middeleeuwen een wapenarsenaal van de stad bevond.
Oprichting van een seminarie in Gent
Het bisdom Gent, opgericht in 1559, kreeg als eerste bisschop de Leuvense theologieprofessor Corneel Janssen (Jansenius), maar het duurde tot 8 september 1568 voor de man plechtig zijn intrede kon doen in zijn bisschopsstad en onmiddellijk vatte hij het plan op een seminarie op te richten volgens de richtlijnen van het Concilíe van Trente. Jansenius stierf in mei 1576.
Het opbouwend werk van de ijverige bisschop om zijn seminarie te organiseren, dreigde kort nadien, tijdens de calvinistische terreur te Gent van 1578 tot 1584, verloren te gaan.
Vanaf 1585 vinden wij echter opnieuw sporen van de heropstart van het bisschoppelijk seminarie en vinden wij in het archief van het bisdom en het seminarie vermeldingen van seminaristen en inspanningen van het Sint-Baafskapittel om, in een periode waarin er geen bisschop was, de priesteropleiding opnieuw vaste vorm te geven.
Op 22 maart 1622 werd Antoon Triest tot bisschop van Gent aangesteld. Meteen vatte hij het plan op om op korte termijn in zijn bisdom een aantal grondige hervormingen door te voeren. Daarbij kwam ook de organisatie van het seminarie op zijn werktafel en het was zijn bedoeling het hele seminariesysteem van zijn bisdom te veranderen.
Intussen had Triest in de nabijheid van zijn kathedraal een geschikte locatie gevonden voor de nieuwe gebouwen, met name het "engienhuys" ten noorden van de kathedraal, het voormalige stedelijke kruitarsenaal van de stad Gent dat in 1540, na de onderwerping en de ontmanteling van het opstandige Gent, door Keizer Karel geschonken werd aan het Sint-Baafskapittel dat de plannen om er een choraalhuis van te maken nooit realiseerde.
Omdat dit gebouw evenwel niet volstond voor het nieuwe seminarie kocht de bisschop ook nog het aanpalende huis in de Gelukstraat (Biezekapelstraat), eigendom van jonkheer Frederik Nieulant.
Pieter Huyssens kreeg de opdracht om daar een nieuw seminarie te ontwerpen. Daarbij werden een deel van de oude gebouwen bewaard, andere werden gesloopt om plaats te maken voor wat er nu staat in de Biezekapelstraat. Op 21 september 1624 staken de werklieden de mei op het dak, op 27 maart 1625 was het gebouw instapklaar als convict voor de humaniorastudenten, maar duidelijk in voorbereiding op het priesterschap en met strenge selectienormen voor de kandidaten.
Bisschop Erard van der Noot gaf aan zijn neef Maximiliaan van der Noot de leiding van het seminarie. Eens zelf bisschop in 1742 werd Maximiliaan initiatiefnemer van nieuwe gebouwen die vanaf 1750 naar plannen van bouwmeester 't Kindt worden opgetrokken.
Toen in 1773 de jezuïetenorde werd opgeheven door Rome, vormde de openbare verkoop van de jezuïetenbibliotheken een buitenkans om een volwaardige seminariebibliotheek uit te bouwen.