Pärast Reigi rootslaste väljasaatmist 1781. aastal oli Kärdla suurim rootslastest elanikkonnaga küla Hiiumaal.

1810. aastal mõisastas Peter Ludwig Konstantin von Ungern-Sternberg Kärdla. Teopäevade ja maksude suurendamisega sunniti Kärdla aladelt lahkuma 149 meest ja 153 naist. Kärdlas olnud 32st rootslaste talust jäi alles viis. Lahkujate uuteks elukohtadeks said Vormsi saar, Noarootsi, Riguldi ja Haapsalu. Rootslaste Kärdla asemele rajasid Ungern-Sternbergid Kärdla karjamõisa – Kertelhof´i.

1829. aastal rajasid Peter Ludwig Konstantin ja Heinrich Georg Eduard von Ungern-Sternberg kohaliku meriinovilla töötlemiseks kalevivabriku. Vabrik oli selge näide tööstusrevolutsiooni jõudmisest Eesti aladele ja kohaliku aadli edasipüüdlikkusest. Esialgu oli vabrik küllaltki käsitöönduslik ehk manufaktuurne. Vabrikus töötasid ka lapsed.

1835. aastal hakkas vabrikut juhtima Robert Eginhard von Ungern-Sternberg (1813–1898). Ta oli õppinud Berliinis, Aachenis ja Belgias ning spetsialiseerunud kalevi tootmisele. Pole päris selge, kes oli vabrikudirektor enne teda. Spekuleeritud on nimedega Bödinghausen ja Briancour, kuid neist on väga vähe teada. Ajapikku sai Robert Eginhard hüüdnimeks Vanaparun.

6. oktoobril 1870. aastal (vana kalendri järgi, uue kalendri järgi 20. oktoober 1870) põles vabrikuhoone maha ja töö seiskus. Hoone ja seadmed olevat kindlustatud ning see kergendas taastamist. Koos taastamisega vabrikut ka laiendati ja uuendati.

1874. aastal muudeti vabrik aktsiaseltsiks, mida juhtisid põhikirja järgi korraga mitu direktorit, kellest üks oli peadirektor. Sageli oli selleks Vanaparuni poeg Ernst Otto Adam von Ungern-Sternberg (1850–1928), keda rahvas kutsus Noorparuniks.

1907. aastal tabas maailma majanduskriis, millest ei jäänud puutumata ka Vene Keisririik. 1908. aastal oli muutunud Kärdla kalevivabriku majanduslik olukord nii raskeks, et Hiiumaa vabrik läks Narva kalevivabriku (Narva Kalevi Manufaktuur) kontrolli alla ning hakkas täitma Narva tellimusi. Vabrikut juhtinud Ernst Otto Adam von Ungern-Sternberg vahetati välja Eesti tähtsaima kalevitööstusdünastia esindaja, Theodor Viktor Peltzeri (09.02.1879–1917), vastu. Vabrikus algas Peltzerite ajajärk, mis kestis kuni vabriku lõpuni.

1914. aastal algas Esimene maailmasõda. Sõjaeelne periood oli vabrikule majanduslikult hea aeg, kuna sõjavägi vajas villast riiet. Sõja puhkemine aga muutis kõik – oodati Saksa Keisririigi invasiooni, sakslasi ja teiste rahvaste esindajaid hakati paranoiliselt kahtlustama spionaažis Saksamaa heaks, Hiiumaale saadetud Vene keisririigi sõjaväelased püüdsid levitada kohalike hulgas enamlikke vaateid, kaubavedu merel oli häiritud, nappis tarbekaupu ja tööjõudu. Vabrik seiskus 1917. aastal ning Kärdla inimesed kaotasid sellega oma sissetuleku. Vabrikudirektor Theodor Viktor Peltzer pages revolutsiooniliselt meelestatud sõjaväelaste ülestõusu hirmus Kärdla lähedale metsa ning sooritas enesetapu. Ülestõusu aga ei toimunudki.

1920. aastal toimus esimene aktsionäride koosolek pärast Esimest maailmasõda. Vabrik jätkas koostööd Narvaga. Direktoriks määrati Hans Peltzer (07.04.1891–??), kes oli Theodor Viktor Peltzeri vanaonu poeg. Kõigist jõupingutustest hoolimata jäi vabrik Eesti Vabariigi perioodil kängu. Töölisi oli umbes 300 ning toodeti peamiselt koduturule.

1938. aastal plaanis vabriku juhtkond uuendada vabriku masinaparki. Selleks võeti Pikalaenu Pangast laenu. Vabriku juhtkond kadus koos laenurahaga 1939. aasta lõpus ning uuendus jäi tegemata. Selleks, et Kärdla ei satuks kaosesse, võtsid Eesti Vabariigi majandusministeeriumi kokku kutsutud usaldusmehed vabriku valitsemise üle. Töö jätkus. Koos Nõukogude okupatsiooniga riigistati vabrik lõplikult. Vabriku nimeks sai Hiiu Tekstiil ning seda juhtis Peet Hollak.

1941. a. 15. oktoobril saabusid vabrikkuse relvastatud Punaarmeelased ja vabrik võeti üle. Hommikul tööle saabunud töölised saadeti koju ja neil keelati tagasi tulla. Üksikud inimesed siiski käisid veel 16. oktoobri hommikul vabrikus, kus oli tunda tugevat petroolihaisu. Veidi hiljem vabrik süüdati. Selleks, et keegi vabrikut kustutama ei läheks, oli hoone ümber relvastatud valve, mis kadus sama ootamatult kui oli saabunud. Julgemad lõid katki vabriku keldrikorruse aknaid ja loopisid sealt välja riiet. See oli ka kõik, mis põlevast vabrikust päästa jõuti. Õõvastavat vaatemängu pakkusid õhus lendavad põlevad katusepapi räitsakad, mida tule kuumus vabriku katuselt kõrgele õhku paiskas. 16. oktoobri õhtul jõudsid Saksa okupatsiooniväed Kärdlasse.

Vabrikust jäid järgi suitsunud müürid ja masinad, mis olid kukkunud hoone alumisele korrusele kuna vabriku vahelaed olid puidust. Saksa okupatsiooni jooksul veeti enamik masinatest vanarauana Hiiumaalt välja. Hoone müürid püüti hoogtöö korras lammutada ENSV 10. aastapäevaks juunis 1950. aastal.