Kärdla kalevivabrik süüdati taganevate punaarmeelaste poolt 16. oktoobril 1941. aastal. Sellega lõppes üks 112 aastat kestnud ajastu Kärdlas. Sõja jälgede likvideerimise käigus vabrikut endisel moel taastada ei püütud. Vabrikumüüride koristamisega taheti lõpule jõuda 1950. aastal, kui püüti nii tähistada ENSV 10. aastapäeva. Koristustöö toimus hoogtööpäevade korras, igal asutusel oli selleks norm. Vabriku kive kasutati ehitustes, Nuutri jõe kallaste kindlustamisel ja killustikuna Kärdla tänavatel.

Tööstusala vabriku ümber säilis ka peale Teist maailmasõda. Vabriku endisesse talli korraldati elektritootmine, hiljem on seal olnud ka jahu- ja saeveski ning fotoateljee. Elektrijaam suurenes ning Vabaduse tänava algus (endise Kärdla kalevivabriku lähiümbrus) jäigi tema püsiasukohaks. Elektritootmine lõpetati Hiiumaal 1974. aastal, kui liituti riikliku võrguga. Jaam jäi reservi, mille tegevus lõppes 2004. aastal. Peale elektrijaama on vabriku müüride ja selle kõrvalhoonetes tegutsenud ka kohalik autobaas, bensiinijaam ja sõjaväe töökoda.

1961. aastal lõpetati sõjaväeosa tegevus nn Polgu piirkonnas ning linnak anti avalikku kasutusse. Sinna kolis Hiiumaa Rajooni Täitevkomitee, mis oli enne asunud Pikas Majas. Vabrikuväljak (toonase nimega Komsomoli väljak) kaotas suure osa oma tähendusest tööstus- ja võimukeskusena. Linna esindusväljakuks oli juba 1920. aastatest kujunemas praegune Keskväljak.

Vabriku häving ei tähendanud aga Kärdla hävingut. Linn kasvas ja muutus Nõukogude perioodil. Vabrikuhoov nimetati ümber Komsomoli väljakuks ning lagedale platsile istutati rohkelt puid. Meistrite majadest Vabrikuhoovis said korterid. Suurimad muutused võrreldes vabrikuajaga leidsid aset Vabaduse tänava ääres. Sealsed ajaloolised hooned lammutati ja rajati uued. Nii sündis kalurikolhoosi „Hiiu Kalur“ tööliste majutamiseks rajatud kortermajad. Kunagi vabriku ametnike tarbeks ehitatud kortermajast Kirikupargi läheduses sai aga avalikkusele suletud piirivalve kordon. Vabrikuhoovis endise sammastega puithoone asemele ehitati Eestimaa Kommunistliku Partei rajoonikomitee hoone (1979).

Mälestus Kärdla kalevivabrikust elab edasi. 1985. aastal püstitati Vabrikuväljakule Mati Karmini loodud mälestusmärk Kärdla kalevivabriku töölistele. Seoses Eesti Taasiseseisvumisega (1991) nimetati ümber Kärdla tänavad. Vabriku mälestuse hoidmiseks nimetati Komsomoli väljak Vabrikuväljakuks. 1994. aastal avati Vabrikuväljaku läheduses söögikoht, mis kandis nime Priiankru. See oli tuletatud Briancour´i nimest. Briancour olnud prantslasest kalevivabriku meister, kelle pere oli väidetavalt kohvi joomise tava Kärdlasse toonud. 1998. aastal sai Pikast Majast Hiiumaa Muuseumi peamaja. 2003. aastal ilmus Kärdla kalevivabriku tööliste mälestused raamatuna „Mälestusi Kärdla Kalevivabrikust“. Kalevivabriku töölistest on loodud nukud ka Kärdla nukuteatrisse, kus nii tutvustatakse Kärdla minevikku.