1860年．圆明园遭受了英法联军的毁灭性破坏，但整个园区还留有不少建筑遗迹，至少1870年时，西洋楼有的建筑还算完整，同治时对园内中式建筑还有一次半途而废的大规模重修。直到1905年，康有为游圆明园时还看到“虽蔓草断砾，荒凉满目，而寿山福海，尚有无数亭殿…竟日仅能游其一角。有白石楼一座三层，玲珑门户，刻画花卉，并是欧式”。那么，是谁将它彻底毁灭了呢?

当英法联军对圆明园的财宝进行疯狂洗劫时，就有无数的土匪参与了打劫。英法联军择最贵重的抢劫，土匪掠夺剩下的精华，小民则捡拾委弃于道途的零碎，甚至守园太监也有趁火打劫者。易得的值钱物很快被搜罗干净了，人们又把希望寄托在散落、埋没于土中的细碎宝物上，于是操起扫帚和簸箕，在园中道路上飞沙扬尘。守园的太监、官兵将他们称为“筛土贼”。时有谚曰:“筛土，筛土，一辈子不受苦。”所幸这时还未伤及建筑。

1900年八国联军侵占北京，西郊诸园再遭劫掠。这一次清政府对圆明园已完全失去了控制。趁火打劫的人们已不再满足于抢劫洋人劫余的财富，他们把园内火劫之余零星分散的建筑的木料、木桥的柱子锯断或用大绳拉倒，把园内大小树木滥伐殆尽。当时清河镇上木材堆积如山，交易繁忙，而园内则炭厂林立，树枝、树根全被烧成木炭。

民国初期走马灯一样更迭的军阀，都把圆明园作为取之不尽的建筑材料场。溥仪小朝廷时期的档案留下了不少无奈的记录:“有军人押车，每日十余大车拉运园中太湖石。”实际上，拆卖的情况远比档案中记载的严重得多。徐世昌拆走圆明园属鸣春园与镜春园的木材，王怀庆拆毁园中安佑宫大墙及西洋楼石料。圆明园废墟凡能作建筑材料的西，从地上的方砖、屋瓦、砖、石条，到地下的木桩、铜道，全被搜罗干净，断断续续了二十多年!后人称此为圆明园火劫、木劫之后的“石劫”。

坐落在圆明园西北角上的安佑宫，是清代皇家在园中的祖庙，气魄宏大，尤其是殿前的两对华表，雕琢精美。历经数劫之后，安佑宫和周围牌坊、林木尽失，惟余两对华表。1925年初，燕京大学翟牧师私拆华表，其理由是:“我看圆明园内石柱系属古物，恐有人拆毁，故运至本校保存。如中国用时，即可退还。”现在这对华表依然耸立在北京大学西门内教学楼前。而另一对华表，则成了民国时城内新建的仿古式图书馆门前的装饰。

至此，圆明园已经过了火劫、木劫和石劫，建筑、林木、砖石皆已荡然无存，它的悲惨命运是否终结了呢?还没有!它还要经过最后的、更为彻底的“土劫”。宣统末年，当地旗人已在园内的宫殿旧址上筑屋，昔日的皇家园林麦垅相望。1940年以后的日寇占领时期，北京粮食紧张，于是奖励开荒。从这时起，农户陆续入园平山填湖，开田种稻。圆明园这处在清初盛世历经一百五十余年苦心经营的湖山之胜，遂面目全非。