Abweichungen beim Bau einer Pergola

Einen schönen guten Abend,
ich bin hier ganz neu in diesem Forum und habe gleich ein Problemchen und Suche Hilfe.
Wir sind Besitzer eines Reihenendhauses in Rheinland-Pfalz und haben eine Terrasse mit Süd-Ost Ausrichtung,d.h die Sonne brennt uns den ganzen Tag auf den Pelz.Die letzten Jahre hatten wir auf unserer Terrasse einen Pavillion stehen der mittlerweile aber durchs Wetter zerstört wurde.Vom Haus aus gelangt man über 2 Stufen auf die Terrasse was dazu führte das man den Kopf einziehen musste.Nun haben wir vor 2 Wochen in Eigenregie eine Pergola gebaut.In der Breite und Höhe umschließt sie genau die Umrisse der Fensterfront und in der Tiefe steht sie voll auf dem Terassenboden.Laut meinen Infos habe ich nichts unrechtes gebaut.Nun meint mein Nachbar der allerdings zur Miete wohnt,dass unsere Pergola Ihm Tageslicht raubt.
Heute mittag stand dann zu meiner Verwunderung ein Herr vom Bauamt in Speyer vor meiner Tür und meinte ich hätte gegen die Baugrenze verstoßen,weil mein Haus die Grenze zu meinem eigenen Besitz sei.Hä?????
Ich müsste einen Antrag zu Genehmigung von Abweichungen stellen.Hä????
Welche Abweichungen???? Kann mir jemand helfen und mich aufklären was ich falsch gemacht habe.
LG
Gustl