桜尾城は海に臨んだ要害の地で、中世の廿日市の象徴ともいうべき厳島神社神主家藤原氏の居城でした。

鎌倉幕府の有力御家人であった藤原親実が承久3年（1221）に任命された以降、代々世襲しましたが、天文10年（1541）周防の大内氏に攻められ城は炎上し、藤原（友田）興藤は白刃、320年間続いた藤原家は滅亡しました。

桂公園は廿日市市で一番最初の公園で、大正元年桂元澄の子孫である公爵桂太郎が桜尾城跡を永久的に残すため全山を買収し寄贈され、大正2年5月8日に開園式が行われました。その後昭和42年に都市計画決定されると丘陵地を切削し、新たに都市公園として整備され昭和46年4月開園しました。

面積16,501㎡、今では石碑以外に昔を偲ぶ物もなくこの地が昔は城があったことすら忘れられようとしています。