Dämmung hinter Heizkörper

Hallo Zusammen,
und zuerst möchte ich mich entschuldigen für die Grammatikfehler, bin nämlich Ausländer und über noch weiter.
wir haben gerade einen Haus gekauft (BJ 1970) und bereit alle Fenster getauscht. Nun sind ein paar Fensterbänke kaputt gegangen, oder waren schon kaputt, und beim entfernung von die Halterungen ist die Abkleidung hinter die Heizkörper an manche stelle abgerissen.
An dieser Stelle wollten wir eh die Heizkörper tauschen (3 Stück), und wir dachten, ok wir benutzen die Gelegenheit um die Verkleidung zu verschönern.
mein erste Plan, war die verkleidung komplett weg zu machen und zu ersetzen durch eine Styropor-rigipgs platte. Bei der erste Nische (die auch die längste ist, ca 4m) habe ich sehr schnell gemerkt, dass es ein Fehler war. Nun ja, die ist jetzt entfernt, es war ein motz arbeit.
jetzt stehe ich vor der nackte Mauer und muss es neu machen (die alte Verkleidung bestand ebenfalls aus rigips und styropor).
Die alte Verkleidung ging auch bis unter den Esstrich, d.h. ich habe jetzt eine ca 2-3cm breite und 5cm tiefe Rinne.
Mein Idee war den Gips zu entfernen von der Rigips-styropor Platte an der stelle der in diese Rinne gehen muss und dann es so an der Wand Kleben (Hornbach hat mir so einen PU-Kleber empfohlen, bin mir aber nicht sicher, dass es das beste ist, vielleicht wisst ihr das?).
Was ich nicht weiss ist, wie mache ich die Verbindung zwischen:
- Rigips und Boden, bzw. was soll ich in der Rinne tun damit kein Dreck o.ä. rein kommt.
- Rigips und wand an der Seite
- Rigips und Fensterbank

Ich habe mich tot gesucht auf internet, aber nichts gefunden was mein Problem anspricht.

Könnt ihr mir da weiter helfen?

Im Vorab vielen Dank und Grüße,

Mathieu