本城は庄内平野北東部の出羽山地の西斜面にあり、庄内平野、日本海が一望できる所である。庄内藩としても最上郡、秋田県矢島に通じる交通の要として重要な城であった。

標高50メートルの所にあり、東西150メートル、南北350メートル、標高差20メートルである。

城の遺構は東から西向きの斜面にある。東側と北側は深い沢が林道で、西側と南側は登坂困難な急斜面で自然の要害である。

北の郭の東側と北側には土塁が作られている。北の郭と南の郭の間には深さ4メートルの空堀があり、橋が架けられていたという。

南の郭の北側には一部土塁があり西側と南側には曲輪がある。城は梯子型築城と言われている。

来次氏房が古楯に平城を築城したが、その子時秀は、平城では防備上不安のため、元亀元年（1570）をさかのぼることそう遠くない時期にこちらの楯山に城を移し、観音寺城を築城した。天正18年（1590）までの20年余りが存続期間である。天正18年城主・来次氏秀に代わって寺尾伝右衛門が入城したが9月に討死し、同年破城された。