请问是否构成行政不作为？

我们单位前段时间把对一个违法用地相对人的行政处罚决定给自撤了，准备过段时间重新作出。行政相对人在2005年违法占地建房至今，2006年时这个相对人到我局申请过用地手续，我局在未经严格审查的情况下，收了他15万元的建设用地预缴款（给他开的回单上写明：在未齐用地手续之前，不得事先用地），后来一直没有用地指标，而他后来不听就用地了，我局于是在今年的5月份下的处罚决定（要求其退还土地、没收地上建筑物、并处罚款），后来因我局自己的问题程序没走好，自己给撤了。
现在我局又要重新作出行政处罚决定，而这个相对人现在说，如果我们还要重新对他行政处罚，就要告我们行政不作为，说我们收了预缴款后三四年都不给他办理用地，请问这个我们如何应对？
说真心话，我们局2006年时就不应该收他什么预缴款，因为这个相对人本来就是通过私自买地来进行建设的，而2006年时偏偏收了他预缴款，让他现在认为，你认为我违法，为什么收我的预缴款，你们行政机关构成了行政不作为。