Kärdlas oli enne kalevivabriku teket väikene rootslaste Püha Olavi kabel, mis asus tänases Rannapargis mere lähedal. 1847. aastal rajati suurem puust kirik, mida hakati hiljem Saksa kabeliks kutsuma. Saksa kabel jäi küllaltki kiirelt kasvava tööliste hulga jaoks väikseks. Uue kiriku ehitamiseks annetasid Putkaste, Emmaste ja Kõrgessaare mõisnikud 2000 rubla, annetusi koguti ka töölistelt, seda nii vabatahtlikult kui sunniviisiliselt. Uus Püha Johannese kirik valmis 1863. aastal. Peale suurema kiriku valmimist vähenes Saksa kabeli kasutamine. Seal peeti saksakeelseid jumalateenistusi vabriku ametnikele ja kõrgemal positsioonil olevatele töötajatele ning seal olevat koos käinud ka Kärdla hernhuutlased.

Juba 1855. aastal alustas Kärdla kalevivabriku juures tööd segakoor, mida kutsuti mõnikord ka lauluseltsiks. Koori algaastaist pole palju teada. 1880–1890. aastail juhatas seda noor kooliõpetaja Joosep Bruus ning 1898. aastast Elise Kuusik ehk Laulu Liisa. Vabrikukoor esines paljudes erinevates kohtades nii Hiiumaal kui mujal. Näiteks esineti kalevivabriku aastapäevadel, omanike ja kõrgemate ametnike juubelitel, kirikutes, erinevatel heategevusüritustel kuid ka 1896. aastal toimunud I Läänemaa laulupeol ja kinnitamata andmeil isegi III üldlaulupeol 1894. aastal.

1880. aastal ostis Kärdla kalevivabrik Saksamaalt 24 pilli, et asutada mängukoor ehk orkester. Orkestrit hakkas juhtima Juhan Treuman, kes uppus 1884. aastal koos kahe orkestri liikmega. 1903. aastast on andmeid, et Kärdlas tegutses nii pasuna- kui viiulikoor. Lisaks muusikalistele ühistegevustele tegutses vabriku toel ka väikene näitemänguseltskond.

1890. aastail loodi mereäärne Lepakopli peoplats, kus toimus enamik toonastest suvistest meelelahutusüritustest. Aegamisi hakkas tähtsamaks peopaigaks muutuma kiriku kõrval olev plats, kus 1926. aasta laulupäevaks isegi laululava ehitati. Eesti Vabariigi perioodil kujunes tähtsaks kogunemiskohaks Kärdla Noorte Ühingu maja, mida kutsuti endise omaniku ja mõisavalitseja järgi tihti lihtsalt Ehni majaks. Noorte Ühing ise ei olnud vabrikuga kuigi tihedalt seotud.

Selleks, et töölistel oleks mõistlikku ajaviidet, mis hoiaks neid kõrtsist eemale, rajas vabrik ka oma kino, mis oli Eesti esimene väljaspool linna ehitatud kino. Esimeseks filminäitajaks oli fotograaf Nikolai Königsfest ning esimest filmi sai näha 1913. aastal. Selleks ajaks oli vabrikus olemas juba ka elektritootmise võimalus.