农村自留地流转纠纷

我家是河北省保定市阜平县的小山村，我村刘某要盖房子，自己家的地不够大，就把附近张某的地换过来了，但是张某要求必须换到某一位置的地。正好我家在该位置有一块地，于是刘某把我家的地（自留地）换给了张某，刘某把其他地方的一块地给我家种。10年后房子盖好了，刘某突然反水，说原本换给我家的地是他的。当时换地的时候也没字据什么的，都是口头协议，我家换给张某的那块地是村里93年分的自留地，好像也没签订承包合同之类的，由于时间较长当时分地的生产队长已去世。村委会一直推脱说时间长了，没登记，领导班子也换了好几次不给办理。我们手上也没有直接的书面证据证明地是我家的。情况紧急，都快打起来了，该如何解决？？？？ 这种事情首先应该找那些部门解决？村委会有没有义务出具相关证明，或者村委会是不是必须得有当年分的自留地的归属权记录？村委会推脱不给解决怎么办？到法院起诉是直接到县级人民法院吗？被告人应该是谁？