Pikk Maja ehitati Kärdla kalevivabriku direktori elamuks ning siin olid ka mõned ruumid külaliste majutamiseks. Hoone ehitusajaks võib pidada 1840.–1850. aastaid ehkki maja on kantud juba 1830. aasta Kärdla plaanile. Vabriku aegadel jäi Pikk Maja enamikele kohalikest suletuks. Samamoodi oli võrdlemisi suletud maja taga olev nn paruniaed, mis rajati veidi peale hoone ehitamist endise rootslaste surnuaia äärde. Paruniaias oli arvukalt ilu- ja viljapuid ning jalutamisrajad.

Peale Nõukogude okupatsiooni algust 1940. aastal tegutses Pikas Majas lühikest aega töölisklubi. Kohalike noorte hulgas oli populaarne piljardi mängimine, kuna majas oli varasematest aegadest „60 puudane“ (983 kilogrammi) piljardilaud. Majas tegutses lühikest aega ka lasteaed või lastehoid. Toonased lapsed mäletavad, et majal olid „peegelpõrandad“.

See, mis toimus Pikas Majas Teise maailmasõja ajal, pole päris selge. Saksa okupatsiooni alguses olevat Pika Maja ja endise vabrikuhoovi äärseid hooneid kasutanud Saksa sõjavägi majutuseks. Millalgi sõja jooksul elanud tühjades vabrikuhoovi majades sõjapõgenikud. Nende süüks pannakse maja ja ümbruse rüüstamine.

Nõukogude ajal jagas maja mitu asutust. Esialgu töötasid Pikas Majas kohalikud riigiasutused. Neist kõige olulisemaks võib pidada Hiiumaa Rajooni Töörahvasaadikute Täitevkomiteed oma rohkete osakondadega. Peale iseseisvuse taastamist 1991. aastal kasutasid Pikas Majas ruume Hiiumaa Keskraamatukogu ja kommunaalosakond. 1990. aastate teisel poolel jäi maja praktiliselt tühjaks ning anti Hiiumaa koduloomuuseumi kasutusse. Järgnes põhjalik remont, mille järel sai hoonest Hiiumaa Muuseumi peahoone. Muuseum on Pikas Majas alates 5. juunist 1998. aastast.