直径都一样铺地卵石，运到北京后，一个的价钱相当于一个鸡蛋，从云南搬运巨石的做法也为人所诟病，甚至有人把这种做法与宋徽宗的花石纲相提并论。
还有环保的问题，贝聿铭在设计中为保存古树想了许多办法，但最终建设过程中，还是伐树245棵，其中百年以上树龄的79棵。
在选址上也饱含争议，从旅馆经营的角度看，香山并不是一个大的风景区，离市区不过二十几公里，游人可以一天之内游完主要景区，回到市内过夜，在此处建造一个300 多间客房的旅馆，客源无法得到保证。
日后也果然如此，香山饭店的名声很响亮，但客源却不如人意，好多人专门从市区过来，但是到了饭店到处看看就走了，并不会留下过夜。
同时，香山饭店的原址也是静宜园二十八景之一虚朗斋，曾经是康熙、乾隆的行宫，虽然被英法联军烧毁，但尚有遗址存留，就这么拆毁等于是抹去了一段历史印记。
从建筑设计而言，香山饭店也并非完美，尤其是和贝聿铭日后另两个具有浓郁气息的项目——RB的秀美术馆和国内的苏州博物馆新馆相比。
在建筑和自然的关系上，香山饭店的处理是通过调整建筑的边缘，利用极其曲折的边缘来营造园