De Hervormde Gemeente Assen kerkte al vanaf het begin van de 17e eeuw in de (voormalige) Kloosterkerk, Mariakerk of Abdijkerk, het vroegere bedehuis van het verdwenen klooster Mariencamp aan de Brink, toentertijd in de volksmond ‘De Oude Kerk’ genoemd. Door de jaren heen bleef de gemeente groeien, waardoor de Abdijkerk op een gegeven moment te klein werd. Nadat de Abdijkerk in de 18e eeuw al een aantal malen was vergroot ging men vanaf 1840 daadwerkelijk aan de slag met de realisatie van een nieuwe, grotere kerk.
Met de gemeente Assen werd onderhandeld over de verkoop van de Abdijkerk en iedere zondag ging de collectezak twee keer rond. De toenmalige koning Willem II ontving in december 1841 op zijn verjaardag een brief waarin werd gesteld dat door het te klein worden van de Abdijkerk “veel mensen de openbare godsdienst niet meer bijwonen. Ze worden daardoor een prooi van verwildering en toeneming in zedeloosheid”.
Na vier jaar had de Hervormde Gemeente de financiën voor de nieuwe kerk, die was begroot op f 44.000,–, op orde: de gemeente Assen betaalde f 10.000,– voor de Abdijkerk, de Hervormde gemeente moest zelf f 10.000,– bijdragen en de resterende f 24.000,– kreeg men van het rijk. Deze royale bijdrage van het rijk was waarschijnlijk mede te danken aan de grote inzet van de Commissaris der Konings mr. L.N. van Randwijk. Het terrein waarop de kerk werd gebouwd lag aan de “Groote Broeklaan”, langs de laan van mevrouw Collard en de Beilerweg.
Het Classicistische gebouw werd ontworpen door hoofdingenieur C.J. Spaan van Waterstaat en Publieke Werken. Bij kerken die in die tijd werden gebouwd was het Ministerie van Waterstaat en Publieke Werken namelijk verantwoordelijk voor de bouw. Het ontwerp van de kerk is dan ook wat we tegenwoordig een “Waterstaatskerk” noemen, gebouwd in de zogenaamde waterstaatsstijl. Deze kerken worden gekenmerkt door het streven naar symmetrie, het gebruik van boogramen van ongekleurd glas, een zuilenfront, pilasters, een toren en witgepleisterde binnenmuren.
Aannemer Wouda, die de bouw van de kerk voor f 41.000,– kon realiseren, begon in 1846 met de werkzaamheden.
De officiële opening van de “Grote Kerk” vond plaats op 30 april 1848. Het was een sobere plechtigheid waarbij zelfs het verzoek om de inwijding met hoornmuziek en een zangkoor te mogen opluisteren, werd afgewezen.
Met de bouw van de kerk was Assen een markant herkenningspunt rijker geworden. De Beilerstraat werd vanaf de Markt tot aan de kerk voortaan Kerkstraat genoemd, de toentertijd nog onbebouwde straat naar de Brink werd Torenlaan en het plein voor de kerk heette van nu af Kerkplein.
Op 13 juni 1910 sloeg het noodlot echter toe: tijdens een hevig noodweer werd de toren van de kerk door de bliksem getroffen. De brand die volgde was, vanwege de grote hoogte, moeilijk te bestrijden. Door de brand werden de toren en de klok dusdanig beschadigd dat ze moesten worden vervangen. Het kostbare Van Dam-orgel, dat in 1896 het oude “van Oeckelen” orgel dat was meegekomen uit de Abdijkerk verving, liep waterschade op. Architect Huurman uit Groningen maakte uiteindelijk een ontwerp voor de herbouw van de toren. Deze werd groter dan de oorspronkelijke toren en ook het front van de kerk werd op zijn advies in 1911 door uitvoerder Dieters uit Assen aangepast.
De 340 kilo zware door de brand gebarsten klok wordt door de firma Van Bergen te Midwolda hergoten en opnieuw geplaatst. Tevens werd kort na de brand een actiecomité opgericht om in de nieuwe toren een uurwerk geplaatst te krijgen. De inspanningen werden beloond zodat sinds 1911 de burgerij op de toren kon zien hoe laat het was.
De afgelopen eeuw is de kerk een aantal malen verbouwd. Een ingrijpende verbouwing vond plaats in de jaren ’30 van de 20e eeuw. Hierbij werd het interieur een kwartslag gedraaid waardoor de preekstoel aan de kant van de Collardslaan kwam te staan. De twee boogvensters in de westelijke gevel werden dichtgemetseld en in de noordgevel werden 4 kleine boogvensters bijgeplaatst. Verder werd er een door 12 pilaren ondersteund, verlaagd gewelf aangebracht, waardoor er binnen in de kerk een kruisvorm ontstond.
In de jaren ’70 bleek de na de brand van 1911 uitgevoerde torenrestauratie minder deugdelijk uitgevoerd dan gedacht. De toren ging steeds meer uit het lood staan waardoor instortingsgevaar dreigde. Het gevaar werd zo groot dat de toren in 1979 naast de kerk werd gezet.
Aangezien inmiddels ook de nodige mankementen aan de kerk werden ontdekt, werd in 1981 een zeer ingrijpendenieuwe verbouwing noodzakelijk. Door het houden van acties, bazaars, royale giften van gemeenteleden en verkoop van het Julianagebouw en voormalige pastorie aan de Nobellaan, kwam een bedrag van anderhalf miljoen gulden uit de kerkelijke gemeente beschikbaar. Verder werd door de overheid een bedrag van 1,8 miljoen gulden beschikbaar gesteld en ontving men van het Prins Bernhardfonds een bedrag van f179.000,–. Hiermee was de totale begroting gedekt.
Het Asser architectenbureau Niemann, Steeneken en Tangerman maakte het ontwerp voor de nieuwe inrichting van de kerk. In de kerkzaal werd de oorspronkelijke opstelling van het interieur weer hersteld. De preekstoel verhuisde weer naar de noordgevel en de boogvensters aan de Collardslaanzijde werden weer opengebroken. Het derde raam aan de Kerkstraatzijde en het verlaagde gewelf bleven in verband met de kosten en energiebesparing gehandhaafd.
De entrees aan de Kerkstraat verdwenen en een groot deel van de ruimte tussen de kerk en het voormalig catechisatielokaal werd benut voor een houten aanbouw ten behoeve van een extra (vergader)zaal. Tevens konden de toiletten worden vergroot door een uitbreiding aan de noordzijde van de bestaande toiletgroep. Op zondag 4 juli 1982 werd in de gerestaureerde kerk de eerste dienst gehouden.
Het monumentale kerkorgel werd tijdens deze renovatie tevens grondig gerestaureerd, waarbij o.a. ter completering van een aantal verdwenen registers pijpwerk beschikbaar kwam van het voormalige Van Dam-orgel van de Oosterkerk te Leiden. Het van Dam-orgel kreeg zijn monumentale waarde terug. Dankzij de inzet van de toenmalige “De activiteiten-commissie Jozefkerk,o.l.v. Lou Kuil kwamen financiën beschikbaar om de Dulciaan, die op de plaats zat van de Clarinet, te vervangen door een Clarinet verkregen uit het orgel in de kerk te Bathmen. Hierdoor is het orgel weer teruggebracht in zijn originele staat. De Dispositie bestaat nu uit een hoofdwerk met elf registers, een bovenwerk met negen en een paneel met zes registers.
Begin 21e eeuw werden in het fronton boven de hoofdingang de Romeinse cijfers MDCCCXLVIII aangebracht.
Het laatste groot onderhoud van de kerk dateert uit 2008. Hierbij werdt de verouderde toiletgroep in de centrale hal/ontmoetingsruimte gemoderniseerd en uitgebreid en verbouwd tot herentoilet. Op de naastgelegen binnenplaats (noordzijde) werd een aanbouw gerealiseerd ten behoeve van een dames, – invaliden toilet die vanuit de centrale hal bereikbaar zijn.