Teiknað af arkitekt konungs

Viðeyjarstofa var teiknuð af danska arkitektinum Nicolai Eigtved, hirðhúsameistara Danakonungs, sem meðal annars teiknaði Amalienborg í Kaupmannahöfn.

Húsið var byggt að beiðni Skúla Magnússonar landfógeta og hófst bygging hússins árið 1753. Upphaflega stóð til að reisa tveggja hæða hús fyrir stiftamtmann og landfógeta en fallið var frá þeim áformum.

Í aðdragandanum höfðu dönsk yfirvöld hafið að beita sér fyrir eflingu iðnaðar á Íslandi og sendu dönsk yfirvöld iðnaðarmenn hingað til lands til að sjá um framkvæmdirnar og kenna Íslendingum verklag við byggingu steinhúsa. Leituðust dönsk stjórnvöld við að kenna Íslendingum að byggja varanlegri hús en torfhús.