Gunnar lernte 1911 auf einem Ball des Islandvereines in Kopenhagen seine Frau Franzisca Antonia Josephine Jørgensen kennen. Ihre Schwester Anna, die Franzisca auf den Ball begleitet hatte, war mit dem isländischen Bildhauer Einar Jónsson verheiratet. Franziscas und Annas Vater war Schmied, doch ihre Mutter (von Wenk) stammte von deutschem Adel ab. Franzisca war am 4. April 1891 geboren. Die Heirat fand am 20. August 1912 statt, zwei Monate nachdem der Verlag Gyldendal Ormarr Örlygsson, den 1. Band von Die Leute auf Borg, zur Ausgabe akzeptiert hatte.

Der erste Sohn wurde am 28. Mai 1914 geboren und nach seinem Vater benannt. Der zweite Sohn Úlfur erblickte die Welt am 12. November 1919. Die Söhne erhielten die Kosenamen Gut bzw. Trold, Namen, die an ihnen ihr Leben lang haften blieben.

Gunnar hatte nicht viel Vertrauen in das dänische Schulwesen, von dem er meinte, dass es nur zur Mittelmäßigkeit gedeihe, und engagierte einen Privatlehrer, der die Jungen bis in die Jugendjahre zuhause unterwies.

Gut - der Kunstmaler

Trold - der Arzt

Grimme - der Reporter

Gunnar hatte einen dritten Sohn, Grímur oder auch Grimme genannt. Er war das Resultat einer Liebschaft mit Ruth Lange, der ehemaligen Frau des Schriftstellers Tom Kristensen und Tochter des dänischen Dichters Sven Lange, in den zwanziger Jahren. Grímur wurde 1929 geboren. Er wuchs bei seiner Mutter in Dänemark auf und war unter dem Namen Grimme als Reporter bekannt. Grímur heirate den Handballstar und spätere Trainerin der dänischen Nationalmannschaft Else Birkmose. Beide waren über Jahrzehnte für die dänische Zeitschrift Aktuelt tätig. Ihnen waren keine Kinder beschieden. Grímur starb 1998.