Vereinigungsbaulast

Wir haben vor 20 Jahren bei meiner Mutter angebaut. Da uns gesagt wurde im Garten wäre kein Bauland,haben wir angebaut. Damals musste alles etwas schnell gehen, da uns unsere damalige Wohnung schon gekündigt war, die sollte verkauft werden. Also hat meine Mutter,damals die Baugenehmigung eingereicht. Die Übertragung des Grundstückes erfolgte etwas später. Mitlerweile ist meine Mutter gestorben und das Elternhaus verkauft.
Der jetzige Besitzer möchte im Garten bauen und hat mir eine Vereinigungsbaulast unter die Nase gerieben,von der ich noch nie etwas gehört hatte.
Zum Einen,ist es logisch(da wir ja angebaut haben).
Zum Anderen,macht es mich wütend,das die Baulast praktisch hinter unserem Rücken gemacht wurde(14 Tage vor der Überschreibung)
Den bis heute hatte ich keine Ahnung davon,das meine Mutter das bei dem Bauordnungsamt abgeben musste.
Wir hätten es auch gemusst, aber sicher eine Grunddienstbarkeit dazu eintragen lassen. So steht nur die Vereinigungsbaulast da:" Das die zwei Grundstücke auch nach der Teilung, baurechtlich ein Grundstück ist."
Ich weiss,das die Vereinigungsbaulast nur gegenüber des Bauordnungsamtes abgegeben ist, aber habe ich dadurch auch meine öffentlich-rechtlich geschützten nachbarlichen Belange verloren?
Der neue Nachbar behauptet soetwas ähnliches. Er könnte bauen wo er wollte, solange GRZ+GFZ nicht überschritten wird.
Währe für eure Ratschläge dankbar.