Passeerdatum woning niet haalbaar?

We hebben een woning gekocht in ons huidige straat. Nou wij blij op 13 maart de koopovereenkomst getekend. Op 27 maart hebben wij de offerte van een notaris geaccepteerd. In de bevestiging van de notaris stond duidelijk aangegeven dat ze in afwachting waren op de getekende koopovereenkomst vanuit de verkoopmakelaar. De keuze van de notaris hebben we direct doorgegeven aan de makelaar. Ondertussen hebben we 3 weken uitstel moeten vragen voor se ontbindende voorwaarden. Deze stond eerst op 24 apr en uiteindelijk 15 mei. We hebben tijdig de hyp.offerte getekend dus financiering was rond. De passeerdatum zijn we 1 juni overeengekomen. De verkoper (buurman) heeft zelf ook op 1 juni gerekend en voor een nieuw huis getekend. Ondertussen zal die ook moeten huren totdat zijn huis is gebouwd.
Vandaag kwamen we elkaar tegen en vroeg de buurman ons of we toevllig al wisten hoelat we op 1 juni konden tekenen ivm vrij regelen. Nou, ik dacht even de notaris te gaan bellen of ze al iets meer konden vertellen. Tot mijn verbazing vertelt de medewerker(of notaris geen idee) dat ze de koopovereenkomst pas eergisteren (16mei) hebben ontvngen, nu snel aan de slag zijn gegaan maar 1 juni niet gaan halen.......

Ik had geen idee wat dat betekende en kon niet snel bedenken wat ik moest zeggen of vragen.

Toen zijn we rustig gaan na denken en naar meer info gaan zoeken. Wij denken nu dat wij onze verplichtingen zijn nagekomen: bankgarantie is overgemaakt (toevallig ook op 16 mei, is dat een aanleidig geweest om het eea aan de gang te zetten?) en zijn in principe klaar Voor de overdracht op 1 juni zoals overeengekomen in het koopcontract. Als nu blijkt ( ze zal as dinsdag concreet kunnen vertellen hoe of wat) dat we 1 juni niet gaan halen ( een week vertraging js niet erg ) maar bijv. 20 juni wordt, waar ligt dan de fout? Wie is daar aansprakelijk voor? Hebben wij iets fout gedaan?

Hoor graag jullie mening. Bedankt alvast!