大樽川と小樽川の合流する舌状丘陵に位置する。丘陵の先端部には東北館山発電所が存在し、発電所建設によって城郭の一部が破壊されているが、城全体は良好に保存されている。城は、舌状丘陵を利用して東西300メートルの範囲に構築されている。

南側を大樽川、北側を小樽川の自然要害を背景に、さらに急勾配を図る目的で山肌を30メートルほど削平して人口斜面を形成している。全体を土塁と堀切、竪堀で3箇所の曲輪を区画し、東側は南の山麓から大手口をもつ曲輪、竪堀をへてもうひとつの曲輪がある。西面を10～20メートル、高さ6メートルの大規模な土塁と北側に3メートル前後の小土塁と帯曲輪で区画された南北70メートル、東西60メートルの不整方形の空間は館山城の主郭（本丸）と考えられる。

北西の隅には北の土塁が南に折れて虎口を開き、堀底道へ続く大規模な堀切が出現する。堀切は大型土塁の上端から対岸の端までの最大幅は28メートルを測り、深さも20メートルをなしている。堀切を越えるとまた別な曲輪の空間に入り、南に大規模な物見台が位置する。この曲輪は最後の竪堀と物見台の西側に堀切を有し、物見台と曲輪の接点と竪堀一部に土橋による虎口が開口する。

性山公治家記録によれば、元亀元年（1570）伊達輝宗の将・中野宗時、牧野久仲親子が謀反を起こし、それが露見するや自分の邸宅に火を放ち城下はすべて廃墟に帰した。但し、御城は「山上にありて恙なし」とある。

また、仙台史の中では伊達輝宗の代に高畠城から米沢城に拠点を移すとの記述があり、これを館山城としている。すなわち、「代十五世晴宗将君、羽州米沢城（松岬城より西三十余町館山と称する地）に移る。」とある。

一方、治家記録には輝宗が天正12年に隠居し、政宗に家督を譲り、己は館山に隠居所を造り普請の出来上がるまで家臣・鮎貝宗重宅に起居し、翌天正13年に移住したとある。さらに天正15年正月11日には政宗が自ら館山に赴いて地取、2月7日再び同地に赴いて縄張りを為し築城計画を開始した旨の記述がある。

その他の資料としては後世に編纂された米沢三名著として知られる『米沢事跡考』元文6年、『米沢鹿ノ子』宝暦頃、『米沢里人談』享和元年、『米沢地名選』文化元年である。館山城に関しては昭和20年ころから30年ころにかけて三原良吉、中沢千代、伊佐早謙、石倉惣吉、高橋堅治、中村忠雄各氏の論考がある。近代的な説を挙げれば次の様になる。

（1）館山城→主城（米沢城）とする。
（2）米沢城（松ヶ岬城）を本城とする説。
（3）矢子山城を本城とする説。
（4）館山城を「チャシ跡」とする説。
などがある。（4）のチャシ跡は論外であり、割愛すると3つの説が残ることになる。ただし、（3）の矢子山城はすでに発掘調査で上杉氏の築城の可能性が濃厚であり、本城とするには問題があり、残るは米沢城と館山城になる。

前者の米沢城（松ヶ岬城）を伊達政宗（政宗・輝宗を含める）とかんがえる説には伊達治家記録を見ると米沢城と館山城を最も明確に区分している点を主張している。つまり、米沢城は主城で館山とは天正13年に建立された輝宗の隠居所であり、館山城とは新田景綱の居館とする説もある。さらに天正15年に政宗自らが縄張りを為し築城を開始したが天正19年に玉造郡岩手沢（後に岩手山と改む）に移ることで途中断念した城が現在の館山城であり、館山城が本城の米沢城であるはずは断然あり得ないと考えるのが大方である。

後者の館山城とする説は、晴宗が高畠城から米沢城に拠点を移すのが館山城で、以後政宗まで三代にわたり居城としたという。輝宗の日記の中で、元亀年に中野、牧野親子謀反の記述に関しても山上とは館山城のことであり、現在の米沢城ではありえないとする。政宗の縄張りは老朽化した館山城を改善するものだと言う。また館山の町全体が城郭地帯で、一ノ坂の東側に残る並松土堤を城の外郭とし、二ノ坂を城の二の丸、三ノ坂を本丸跡とする説もある。現在は並松土堤は北側にほんの一部しか残存していないが、数十年前までは土塁と堀跡が存在していた。一方、館山町4丁目の大樽川に近い畑地内にも幅4メートル、高さ2メートル強の石垣が残っているが城に伴うものかは判然としない。

さて、この両者の説を残しながら現存する遺構を前提に考えを述べておこう。館山城の縄張り図と遺構を見る限りでは、明らかに機能（利用）したことは疑う余地がない。井戸3基もボーリング調査ではその存在は明確である。置賜全体で確認された城館跡を分析した結果では、先の戸塚山と同じ三沢館型山城に類似し、伊達輝宗期に盛行した形態である。だが、三沢型の山城とは曲輪の規模では比較にならない絶大の広さを持つ。主郭の面積だけでも4,000平米（1,300坪）を下らない。米沢盆地最大の山城である。山城の南側には山城への大手門が存在している、その東側の大樽川と小樽川が合流する広大な山麓一帯も曲輪と考えられ、小樽川に接した面に方郭に区画された一町四方の土塁が現存し所謂「伊達輝宗の隠居跡」との可能性が指摘される。