刺吏郑遇欲任用他为幕僚，陆希声不从而隐居义兴老家。
期间一度为朝廷召为右拾遗，他本以为报效国家时机到来了。一位当时朝政腐败，财政歉收，州县不尽责，希声上言“当谨视盗贼”。结果次年，王仙芝反，蔓延数十州，遂不制。
他也因为某种意义上的乌鸦嘴，被贬斥回乡闭门自省；然后历经了江东王郢之乱，黄巢南下等诸多事件，在兵匪交加家门破落得七七八八之后，又最终落到了太平军的手中。
本来这种既有宦门背景，又有地方士族色彩的人家，要比同大多数衣冠户一起流徙他地的。但好在他还有一位远亲陆龟蒙，素来为大都督府所看重；愿意为他作保而取得一个著书回忆，发挥“剩余价值”的机会。
因此，与他一起的参观的人中，还有曾经师从宰相王搏做过知制诰。进中书舍人，又随前江西观察使高茂卿，一起被俘的抚州司马钱翊，也是大历十才子的钱起之孙。
又有别字表儒，小名桂郎，曾经居九华山下刻苦修学，所用墨池为之写穿底，却因为家族参加土团而被牵连的池州青阳人，江东诗书大家殷文圭；
以及他的池州老乡，咸通十五年进士出身，曾为高骈淮南节度从事，又在镇海之战后被俘，因为