Kavel blijkt na kopen andere bestemming te hebben. Welke rechten hebben wij?

Anderhalf jaar terug hebben wij een woning gekocht met bestemming wonen. Dit stond in de brochure én koopovereenkomst. Nu willen we een schuur gaan plaatsen en komen we er achter de kavel schijnbaar bestemming detailhandel heeft, waardoor het bouwen van de schuur praktisch onmogelijk wordt. De verkopende makelaar wijst naar onze aankoopmakelaar en een rechtsbijstandsverzekering zegt dat de 'uitspraak in andere zaken negatief is geweest en het hangt af van algemene voorwaarden die er aan vasthangen'. (In de voorwaarden staat oa wel dat de aankoopmakelaar juridisch advies moet geven)

Nou kunnen we dit zelf laten omzetten naar, maar dat gaat ons duizenden euro's kosten. Wij voelen ons zwaar misleid en denken dat de verkopende partij dat had moeten melden. We denken ook dat dit niet onder onze onderzoeksplicht valt. (Denkend aan onderzoeksplicht op feitelijke gebreken en meldingsplicht over lasten en beperkingen van juridisch aard, zoals publiekelijke beperkingen) Wat zijn onze kansen? Onze rechten? Bij wie ligt dit?