多度津城は中世室町時代には　細川家配下の香川氏の居城として置かれた。現在その痕跡は見かけ上残ってはいない。そのため縄張りなどの城としての構造は不明である。

現状では発掘調査で、柱穴と当時の土器片が出土しており、中世の構造物が何かあるということが言えるのみである。

しかしここに居城が置かれるようになったことから、元々は多度津山を挟んで西側に港の中心があったが、これを機に多度津山周辺が中心部として山の東側の堀江津が多度津港として栄え始めるきっかけとなる。