黄士俊所建，龙氏修缮扩建

清乾隆年间，黄府和花园都被进士龙应时购得。此后，龙氏家族的龙廷槐、廷梓都曾对黄氏园进行了扩建。清嘉庆年间，廷槐之子元任、廷梓之子元俨、元僖分别各建家园，把原黄氏园分成了三个部分，后称为“清晖园”、“广大园”和“楚芗园”。

龙氏家族从龙应时开始，一共出了六位进士、举人十多位，元僖更是官至二品，龙氏家族从顺德建县开始就是著名的大地主，豪门中的豪门，可以说，当时的龙氏家族几乎把持了顺德政治经济的方方面面。

清晖园历经五代龙氏后人，真正的扩建、加建和修缮从清嘉庆开始，历道光、咸丰、同治、光绪、宣统、民国近两百年，历次扩建均采用了当时最顶尖的材料和技术，有的建筑材料甚至直接从欧洲进口，就是拥有这样的财力和政治影响力，清晖园才逐渐形成了现时清晖园的规模和景象。

三园合一，成为顺德景点

至1938年7月，园主人龙子惠去世，10月日寇占领大良，龙家后人大多旅居港澳和国外，清晖园年久失修，草木凋零，解放后一度作为民居使用。后来，为了保护好文物，陶铸同志指示要修复好，省里下拨了经费，由顺德县负责修葺。当时的顺德县政府把原清晖园、广大园和楚芗园三部分合并总称为清晖园。

修葺完成后，清晖园成为了顺德县招待所，多位国家领导人包括邓小平均参观或入住过。

近年来，龙氏后人曾先后回国到清晖园故地重游。2011年11月，88岁的龙启明带着龙氏后人向政府捐献清晖园的地契、房契。当时捐献的，除了地契、房契,还有龙氏先人的照片、资料，以及龙启明担任飞虎队队员时的珍贵照片、信件等近百件文物，具有很高的历史价值。

现时，清晖园已成为了向顺德市民免费开放的景点，每逢节假日游人络绎不绝。