Aan de huidige Schoenmarkt beschikte de St. Bernardusabdij van Hemiksem vanaf het eind van de 13de-begin van de 14de eeuw over een refugehuis - de eerst teruggevonden schriftelijke vermelding dateert van 1303. In 1498 werd het bestaande gebouw vervangen door een stenen refugium. Waarschijnlijk bestond het geheel toen al uit een aantal gebouwen gegroepeerd rond een binnenplein. Bij de oprichting van het Bisdom Antwerpen in 1559 werd de St. Bernardusabdij belast met het financieel onderhoud van het nieuwe bisdom. Het refugium in Antwerpen werd verbouwd en fungeerde vanaf 1570 als bisschopswoning.
In 1576 viel Antwerpen in handen van de calvinisten en moest de bisschop zijn woning verlaten. Het stadsbestuur nam zijn intrek in het bisschoppelijk paleis, omdat het stadhuis tijdens de Spaanse Furie zeer zwaar beschadigd werd. In 1587 werd het gebouw terug in gebruik genomen door het bisdom.
Tweehonderd jaar later waren de gebouwen aan vernieuwing toe. Tussen 1778 en 1781 werd onder leiding van Engelbert Baets (1719-1795) een nieuw classicistisch gebouw, onder invloed van de Lodewijk XVI-stijl, gebouwd. Aanvankelijk was het de bedoeling alleen de tuinvleugel, de rechtse binnenkoervleugel en een deel van het hoofdgebouw te vernieuwen. Maar terwijl de werken aan de gang waren, werd beslist ook het overige deel van het hoofdgebouw, de linkse binnenkoervleugel en de straatvleugel te vervangen. De meest representatieve kamers bevonden zich tussen de binnenkoer en de tuin. Een staatsietrap leidde naar een enfilade van ontvangstzalen.
Het bisdom kon slechts gedurende dertien jaar gebruik maken van dit gebouw. Tijdens de Franse overheersing werd het gebouw achtereenvolgens residentie voor het Centraal Bestuur (1795-1798) en prefectuur van het Departement van de Twee Neten (1800-1814). Onder het Verenigd Koninkrijk zetelde de provinciegouverneur in de gebouwen en na de Belgische onafhankelijkheid nam de Antwerpse gouverneur er zijn intrek. Dat provinciebestuur paste in de loop der jaren het gebouw aan zijn behoeften aan. De kapel en de oranjerie werden gesloopt. In de plaats kwam de provincieraadzaal.
Tijdens de Eerste Wereldoorlog werd het gouvernementshotel bezet door de Duitse troepen. De krijgsgouverneur resideerde in het gebouw en het militair gerechtshof bezette de provincieraadzaal. Een bronzen gedenkplaat herdenkt de ter dood veroordeelde landgenoten. Het paleis werd opnieuw de zetel van het Antwerpse provinciebestuur in 1918. In december 1944 sloeg een V2-bom in. De zwaarst getroffen gedeelten werden gesloopt, enkele gedeelten werden nog gebruikt. In 1980 verliet het provinciebestuur definitief het voormalige bisschopshuis.
Vanaf 1986 werd een restauratie- en renovatiedossier geopend. Uiteindelijk werd geopteerd het bisschopshuis - althans gedeeltelijk- terug zijn oorspronkelijke functie te geven door er de bisschop en zijn diensten te huisvesten. De provincieraadzaal, de voorkamer en de zogenaamde spiegelzaal werden omgevormd tot congresruimte en behoren niet tot het bisdom. Daarnaast werd een nieuwbouw opgetrokken aan de Geefstraat om over voldoende kantoren te beschikken.
De voorbouw werd gesloopt. De gevel werd in de oorspronkelijke toestand hersteld. Nieuwbouw geeft een verbinding tussen de twee vleugels. De binnenmuren van de vleugel aan de Geefstraat werden gesloopt en nieuw gemetseld, de afgebroken hoek aan de Geefstraat en de achterbouw werden opnieuw opgebouwd, de dichtgemetselde ramen aan de Geefstraat werden opnieuw opengebroken, enz. Het interieur werd in drie fasen afgewerkt. Een eerste niveau had een hoge en vrij intacte afwerkingsgraad met veel stijlmotieven. Deze benaderen het dichtst de toestand van voor de Franse Revolutie. Vervolgens waren er ruimten met een meer bescheiden decoratie, vaak in gebrekkige toestand. Als derde niveau werden de ruimtes beschouwd waar elk spoor van eventuele decoratie verdwenen was. Deze twee niveaus werden sober en functioneel ingericht.
Tijdens de renovatiewerken kwamen ook tal van archeologische sporen aan het licht: funderingsmuren, kelders, vloeren, waterputten, afvalputten, afvalkuilen en paalkuilen uit de laat- en post-middeleeuwse periode. De vondsten geven vooral een beeld over de materiële cultuur van de bewoners. Daaruit blijkt dat in elke bouwperiode kwalitatief hoogstaand materiaal wordt gebruikt.
De renovatie- en restauratiewerken werden beëindigd in het voorjaar 1993. Op 24 mei 1993 vond de officiële plechtigheid plaats waarbij het provinciebestuur het gebouw ter beschikking stelde van de bisschop en zijn diensten.
Het bisschopshuis bevat de woning van de bisschop, zijn kantoor en de burelen voor de diocesane beleidsploeg.
