Altbau und neue Fenster/Scheiben: Taupunkt vom Fenster/Rahmen und Wand tatsächlich so kritisch?

Hallo zusammen,

ich habe einen Altbau mit 40 Wände aus 1905. Diese halten im Sommer die Räume eine lange Zeit recht kühl. Wie man den U-Wert schätzen kann weiß ich jedoch nicht, würde so bei 1,1 schätzen. Die Fenster sind derzeit gemischt (1994 (>U-3, 2002+2008 U1,1, 2014 U1,0 TPS). Der Abau hatte bei schlechten Fenstern und 15er Wand Schimmelprobleme. Mit 2,5cm Silitatplatten und den U 1,1 Festern war Schluss damit. Mein Schlafzimmer hat bei 18Grad mit den U1,1 in den Ecken Schimmelprobleme.

Jetzt ist ja hier alles schön erklärt:
Energie sparen und Schimmel vermeiden - Richtig Lüften (2022) - YouTube

Es dreht sich im Grunde um den Taupunkt an den Wänden, aber was hat dies mit den Fenstern zu tun? Wenn ich im Grunde bei gleicher Luftfeuchte die selbe Temperatur halte (20Grad), so dass die Außenwand immer über 12Grad liegt, sollten doch die Fenster egal sein, da man ja im Grunde nur weniger Energie zum Halten der Temperatur benötigt, da nichts durch die Fenster geht?

Bei der Temperaturmessung habe ich beim Rahmen festgestellt, dass ich weder um das Fenster noch am Fensterrahmen einen Temperaturunterschied messen konnte. Kann ich daraus schließen, das die Alten mit Bauschaum eingebauten Fenster energetisch genauso gut sind wie die "neuen" und ein Tausch der Scheibe ausreicht (sofern die Rahmen inkl. Dichtung technisch o.k. und selten benutzt sind)?