wie heeft het recht om een illegale brug weg te halen?

Mijn perceel ligt naast een perceel dat van de gemeente is. Tussen deze percelen is een smalle sloot. Aan de gemeente grond ligt een woonark. De voormalige bewoner van deze ark heeft vroeger zelf een bruggetje over deze sloot gelegd om via mijn terrein bij de openbare weg te kunnen komen. Maar via de grond van de gemeente kan hij ook bij de openbare weg komen. Nu heeft hij nooit een vergunning aangevraagd voor het plaatsen van dit bruggetje en het ligt er dus illegaal.
De grens tussen mijn perceel en dat van de gemeente loopt midden door de sloot.
De toenmalige buur is reeds overleden en ik wil niet meer dat de nieuwe buur gebruikt maakt van mijn terrein. Ik zou dus graag dat bruggetje weg willen hebben, maar wie mag dat weghalen? De gemeente stelt dat de brug half van hun en half van mij is, maar nog ik, nog de gemeente heeft de brug gemaakt, dat was mijn buur. Maar dat staat dus niet geregistreerd.