中山城は、標高343.9メートルの天守山の山頂に位置し、北西から東方に入り込んだ深い谷と、北西の深い谷に挟まれた独立の形状をなす丘上に構築された山城である。

城の縄張りは、北西に楡沢から流れる川と、北東に横町沢を流れる横川に挟まれ、東方の正面に前森と称する小高い山があり、自然の要害を利用した防備の山に囲まれている城である。

形態は、基本思想といわれる堅固三段の曲輪からなる。即ち、本曲輪、二の曲輪、三の曲輪が設けられている。

主郭となる本曲輪は、登り口より南北に51メートル、東西38メートルと楕円形をした平坦な地である。その廻りには土塁が築かれ、東西には、主郭より4メートル高い位置に、正方形で平坦な物見台（天守台ともいう）が設けられており、西北面と北東面には見事な石積みがなされている。

二の曲輪は、本曲輪より4.9メートル低い位置に構築されており、南東から西南まで83メートル、北東から西南まで49メートルの平坦な地で、中山城では最大規模の曲輪である。

三の曲輪は、二の曲輪より17.9メートル低い位置に構築されており、東から西まで53メートル、北から南まで40メートルと、やや長方形に近い曲輪である。北側には本曲輪と同様に土塁が築かれており、その高さは2メートルから2.5メートル、幅も2メートルから最大8メートルもある。また三の曲輪から二の曲輪に入るところは急に狭い桝形になっており、5回も曲折して通らなければならないほど、見事な虎口となっている。

さらに、土塁の構築されている北側は急斜面で、真下は狭い曲輪があり、そこに湧水を利用した井戸が設けられている。この井戸を七色の清水と称し、城内の飲用水として使用されていた。昭和32年、中山小学校建設の時、井戸を調査している。この時、井戸の四方が木枠で組まれ、深さも180cmほどあったが、遺物品の出土はなかったという。

本曲輪と三の曲輪を挟む北東の谷間は湿地帯で薄暗く、六段階状の見事な帯曲輪がめぐらされているのも一つの特徴であると思われる。

現在、元中山小学校舎の敷地内は、馬出しであったが、近世に入ってからは馬場と変わり、御役陣屋が配置されてからは道場となり、その下のグラウンドも曲輪であったものを、そのまま利用しているが、いずれも、上杉領になってからの構築であると思われる。

総体的に見ると、最初の築城は伊達領を最上から防備するために築き、後、蒲生領に移り、上杉領になるまでの間、その領主によって構築の変更もあったものと考えられる。