Meðal stórbænda sem bjuggu á Skriðuklaustri í fyrri tíð og urðu frægir fyrir búsumstang sitt var Sigfús Stefánsson (1823-1910). Hann var bóndi þar 1863-1881 og var um skeið í tölu tólf skatthæstu bænda landsins. Frægt er að þegar askan féll úr Öskjugosinu 1875 rak hann búsmala sinn norður í Öxarfjörð og til baka árið eftir.
Tengdasonur Sigfúsar var Halldór Benediktsson (1852-1918). Hann keypti Skriðuklaustur af Landssjóði og endurbyggði öll bæjarhúsin um 1890. Varð Klausturbærinn þá fyrirmynd torfbæja í landinu en hann byggði þar einnig timburhús. Eitt af því sem Halldór gerði var að byggja kornmyllu í skurði þar sem kaldavermsl tryggði vatn allt árið. Stórt mylluhjólið nefndu sveitungar hans „Veraldarhjólið“, enda snerist það jafnt nótt sem dag.