慈光寺はかつての丹後守護・一色満範の法号「慈光寺殿」を寺号とする一色氏の氏寺。『天橋立図』には５つの堂舎、土塀などが描かれている。

「辯才天」は府中小学校付近に小字があり、『丹後国天橋立之図』には「慈光寺の鎮守也」と記載されている。雪舟のころは京都・南禅寺の塔頭瑞雲庵の末寺であったらしく、住持としては芳仲周騰の名が確認できる。

芳仲は、文明13年（1483）南禅寺で「季岳」と名づけられた丹後守護一色義直の子息を教育しており、一色義直の招聘によって慈光寺住持に迎えられたものと考えられる。

慈光寺では永安院という塔頭を創始して門下の教化に尽した。文明15年（1483）将軍足利義政の命で鎌倉五山の円覚寺住持に任じられたが、任期を終えると再び慈光寺に戻り文明年間の末ごろ73歳で没したという。

慈光寺を雪舟の図にみるような大伽藍に整えたのは芳仲ではなかったかとも考えられている。後に永正の兵乱で焼失したと思われ、現在の江尻に移転した。

なお、平成15年より『天橋立図』を地域のデザインに取り入れたまちづくりを推進しており、府中小学校擁壁も慈光寺付近に描かれた大きな土塀をモチーフにしている。