承揽合同纠纷

2012年8月中旬，X镇政府要我在他们管辖范围内的一条二级公路边设置一块户外广告牌，双方没签订书面合同，谨是口头约定了广告牌的规格、制作材料、安装及安装人员安全由我负责，镇政府负责广告牌设置地点的土地协调工作，以及施工工期。（有经手人证言）
8月23日镇政府相关领导给我指定了广告设置点，并说：“广告牌就安在这个地方，这块土是二级路征用的，有征用手续，你放心的干，有可能要扯皮，你不要怕，如有人阻挠，告诉我们，我们就抓人，但是，山砂不能一次性和完、和点用点”。（有经手人证言）
8月25日我们前往指定地点给广告牌桩基础施工，却遭到了土地承包人的阻拦，在电话通知政府相关人员后，政府多方协调未果的情况下，通知我们回家等候通知，因为政府没给我们提供临时施工场地。我们只好在公路边上临时施工，于是离开时将建筑材料山砂临时堆放在公路边上，我们已将存在的安全隐患告知了政府。从此以40多天的时间里，政府反复协调指示我们施工，我们6次施工5次受到土地承包人阻工，山砂一直就堆放在公路边上，如果没有土地承包人的阻工，广告牌的桩基础施工只需一个工作日就可完成（有书面证据和人证可以证明），但是由于政府的协调不力，导致40多天都没能完工，反而引发了交通事故，给我也造成了不小的经济损失。
2012年10月7日，一二轮摩托车载人驶上砂堆，造成摩托车乘车人死亡的重在事故。法院认定我和摩托车驾驶员承担同等责任。分别赔付死者11万多元。法院认定我与政府是承揽合同关系。
请问我可以以承揽合同纠纷起诉政府赔偿我的损失吗？