本島の東北端、笠島の海に突き出た東山（標高50m）には、中世に築かれた山城がある。

浄土宗の開祖法然上人が土佐に配流となり、途中塩飽に立ち寄り滞在した建永2年（1207）には、この地に地頭駿河権守高階保遠が居館（西忍館）を構えていたという。

また天正年間（1573～1592）頃には、福田又次郎の居城があったが、長宗我部氏の襲撃によって落城したと伝えられている。

城跡の形式は山城で、曲輪や堀切、土塁で構成されている。本丸は東西約35m、南北約50mで、西肩部に土塁を配置する。本丸の東には2段の曲輪が続く。南北両尾根は堀切で遮断される。現況の堀幅は7.5～9m、深さは2.5～5mを測り、主郭部の遺構の保存状態は良好である。

この地は備讃瀬戸の中央に位置し、瀬戸内海の交通・防衛の要衝にあたり、城山西麓の笠島集落は城根と呼ばれる。集落内の道路は複雑な鍵の手状になり、かつて水軍の拠点であった時代の面影を残している。