Over de kerk of kerken die op de plaats van de huidige Sint-Gummaruskerk stonden, bezit men weinig gegevens. De kerk die aan de huidige kerk voorafging, oorspronkelijk toegewijd aan Sint-Jan de Doper, zou eind 10de - begin 11de eeuw zijn opgericht. De vermeldingen over deze kerk worden talrijker vanaf ca. 1200. Het was waarschijnlijk een romaanse kruisbasiliek met een westtoren, een kleine dwarsbeuk en een betrekkelijk groot koor voor het kapittel.
Bouwgeschiedenis van de huidige kerk
In 1378 werd een begin gemaakt met de bouw van de huidige kerk en naargelang die nieuwbouw vorderde werd de oude kerk afgebroken. In 1471 hadden de parochiediensten reeds plaats in de nieuwe kerk, terwijl de kapitteldiensten zouden verder gaan in het koor van de oude kerk tot 1512. De nieuwe kooromgang met bijbehorende kapellen en sacristie werden om het oude koor gebouwd en aangepast aan de reeds vroeger opgetrokken Onze-Lieve-Vrouwkapel in 1483. In dat jaar werd ook de nieuwe kapittelkamer gebouwd, waar zich nu de schatkamer bevindt.
De kerk geeft, op de toren na, de indruk dat we voor een werk staan van één bouwmeester en in een korte tijdspanne verwezenlijkt. Maar nagenoeg twee eeuwen is er aan de kerk gewerkt door opeenvolgende bouwmeesters. De eerste bouwfase startte in 1378 onder leiding van de Mechelse bouwmeester Hendrik Mijs met het bouwen van de toren, verdergezet door Jan II Keldermans. De eerste en tweede vierkante geledingen zijn vroeggotisch en doen enigszins log aan.
De tweede bouwfase (1425-1443) met de bouw van het schip staat volledig onder de leiding van deze bouwmeester. Alle kenmerken van de rijke Brabantse gotiek komen hier tot uiting. Het jaartal ‘1445’, gekrast op één van de zuilen, wijst op de voltooiing van het kerkschip en de ingebruikname voor de eredienst. In 1441 waren er reeds twintig altaren gewijd! Ondertussen wordt de toren hoger opgetrokken, vanaf 1445 onder leiding van Jan van Hazeldonck, de vierkante geledingen gaan over in een laatgotische achtkant en in 1456 wordt de torenspits bekroond met een koperen appel en verguld smeedijzeren kruis. In 1460 wordt de eerste steen van de kruisbeuk gelegd, stilistisch volkomen aansluitend bij het schip.