Ingólfur og eiginkona hans, Pálína Tryggvadóttir, giftust árið 1986 og bjuggu á Akureyri til 1995 en fluttu þá suður. Ingólfur fór að vinna sem sölumaður hjá Merkúr og vann þar til ársins 2006. „Árið 2006 stofnaði ég, ásamt félaga mínum, fyrirtækið Hýsi og rak fyrirtækið fram til 2013 þegar ég seldi minn hlut og stofnaði fyrirtækið Strúktúr ehf. sem flytur inn hús, húshluti og fleira.“
Ingólfur er mikill hestamaður og þau hjónin búa í Mosfellsdal þar sem þau eru með íbúð og hesthús. „Ég var ekki nema 3 mánaða þegar afi fór með mig upp í hesthús og þá varð ekki aftur snúið og ég hef verið á hestbaki síðan.“
Fjölskylda Eiginkona Ingólfs er Pálína Tryggvadóttir, f. 1959, sem starfar hjá Fulltingi en var áður í 20 ár hjá VÍS. Áður átti Pálína Snjólaugu Maríu Árnadóttur, f. 1981, tæknifræðing og tölvunarfræðing, sem er í sambúð með Jóni Ögmundssyni og þau eiga synina Eið, f. 2009 og Róbert, f. 2013 og búa í Reykjavík. Dóttir Ingólfs og Pálínu er Guðlaug, f. 1986, með BA í lögfræði frá HÍ, gift Helga Tómassyni Jónssyni, með MBA frá HR. Þau búa í Hamborg.