Abstandsfläche auf öffentliche Verkehrsfläche (Bayern)

Angenommen, ich möchte ein Haus sanieren und mit einem Büro erweitern - dass Haus wäre aber sehr mittig ins Grundstück gesetzt und es wäre eigentlich an keiner Seite wirklich Platz für einen (eingeschossigen) Anbau. Wenn die 3m Abstand zu den Grenzen einhalten werden sollen, würden nur Schläuche entstehen. Nun habe ich folgendes in der BayBO entdeckt:

Auf der Straßenseite des Hauses bestünden bis zur Grenze 6 Meter Abstand, die Straße selbst wäre mit Gehsteig gut 7-8 m breit. Dürfte ich nun auf dem Grundstück auf der Straßenseite bis zur Grenze mit einer Höhe von 3 m bauen? Die Abstandsfläche würde dann auf der öffentlichen Straße liegen - oder gibt es andere Vorschriften, die ich übersehe bzw. die dem entgegensprechen?

PS: Es gilt kein Bebauungsplan mehr.