杜佑又开始搞经济侵略，他让军府僚属携各种海外来的珍奇货物，往岭南各地蛮族村寨跑动，蛮人本来就缺乏伦理心，看到这些货物就想要，但又没钱，于是夫卖妻换水牛，父卖子换铜器，兄卖弟换象牙，酋帅卖族人换香料者比比皆是。同时杜佑还会假意“慷慨大方”，他派人告诉那些酋帅：这些东西你买不起没事，我愿意赊账，来年若还不起，可以用你族内的贫户来抵充债务。就这样，杜牧就此每年从岭南东西二道，甚至福建地区，搞来的债务奴隶便有上万。
有僚属担心，说朝廷三番五次禁断奴隶交易，因其“伤骨肉之亲情”，结果杜佑大笑回答说，蛮人本无骨肉伦理，夫卖妻，父卖子，兄卖弟触目即是，我等以腐儒之理，去急蛮夷之伦，岂不谬哉况且，在我广州府里为煞割户，过得可能比他们原本处境好得多。
于是这群奴隶部分便被杜佑分配到矿山，采掘金、银、玉；部分去种植蔗糖，或者养殖水牛，及煮海为盐；还有部分被命令去整修驿站道路，或者增修城池，扩营广州的府城原本广州城建筑全是竹木，动辄失火，杜牧开始挖掘水渠，创设火巷，并教导当地人烧砖盖房，广州城二三年内便大为美观，杜牧又增设市舶司的馆舍，并在城中专设“蕃客坊”，让海路商人集中居住管