Erbaut wurde das Haus an der Westseite des Alten Platzes als Quartier für Kaiser Friedrich III. für den Fall, dass seine Wege ihn nach Klagenfurt führen würden – was wohl nie der Fall war. 1498 überließ der Herrscher es der Stadt, aus diesem Jahr stammt die erste urkundliche Erwähnung in der Schenkungsurkunde: „unsern getrewen lieben unsern burgern zu Clagenfurt unser haws am platz bey der burg“. Benannt ist das eindrucksvolle Gebäude nach der Goldenen Gans, die seit 1892 in leuchtendem Messing als Hauszeichen über dem Eingangsportal thront.