南方に最上川の急流、難所があり、西方には深い渓谷、北は富並川の断崖に面した堅固な山城である。蝦夷館の特色を持つ古い城塞との説もあるが、遺構は完全に戦国期のもので、数次にわたって改造・拡張されている。

本丸である山頂曲輪の東側には数段にわたって帯・腰曲輪が設定されており、南東部に虎口があったと考えられる。南側には、二の丸・三の丸と呼ばれている広い曲輪が構築されており、大きな段差で守られている。西側にも大きな段差のある腰曲輪があり、下段には空堀があった。

北側は富並川の断崖である。比高30メートルほどの独立丘でありながら堅固な山城であったと考えられる。

城の南麓に1箇所、西の深沢集落には2箇所の寺屋敷跡がある。いずれも古く、また東の山麓には山王神社跡もある。