任香港管治者一直有对该建筑进行加建和修改。战前最大的加建工程是扩建东翼。当时总督府由于举行活动日多，港督德辅决定加建东翼，由设计到建成历时仅三年，于1891年启用。东翼主要用作社交活动场地，即今日之宴会厅。东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代总督府日渐残旧，港督贝璐曾建议于马己仙峡道另建新的总督府，但因经济问题及二次世界大战爆发而搁置。
战后总督府继续用作总督之官邸。港督杨慕琦于1946年迁回官邸，把日式装置拆除，并改建成四间睡房和浴室。下一任港督葛量洪则在房间墙壁上镶嵌饰板，加装壁炉，增建露台，安装独立空调等，并在主楼门廊入口加置两只石狮子。港督麦理浩则为港督府进行大规模翻新，更换屋顶，宴会厅首次安装中央空调，花园建设腰形泳池;扩充员工宿舍，并加建风格与主楼相配的管家宿舍。但是从港督戴麟趾开始，接着的尤德和卫奕信，只是为港督府的设计作出少量改动。如今整个港督府看起来难免有些“老旧”，这对于想要急切表达忠心的爱德华来说，却是个很好的献媚机会。
“港督大人，我帮你把住的地方准备好了！”
“港督大人，这是您以