最上川の右岸、河岸段丘と白鷹山丘陵の末端につながり、標高約210メートル、比高約30メートルの独立丘を利用した平山城で、別称を「八乙女城」とも呼ぶ。城域内には八乙女八幡神社があり、寛治元年（1087）源義家が京都の石清水八幡宮を勧請し、石灘監物が建立したものと伝えられている。その後、荒川次郎清泰が永長年間（1096～97）に城を築き、南北朝末期の元中年間（1384～92）には馬場将監が堀をめぐらし、城郭として整備したものとされている。

伊達家文書によれば、戦国期の荒砥郷には荒砥、桑島、松岡、大立目ら各豪族の所領があったが、荒砥城主としては大立目氏が確認できる。置賜と村山の境界に位置する荒砥城は、最上領に接する伊達領国の一大要害として史料にも度々現れ、天正2年（1574）から始まる最上義光との本格的な戦いでは、一時伊達輝宗の本陣も設けられている。天正16年4月20日には、鹿俣、大窪、大石らの伊達家「御代官衆」の手によって「要害普請」が行われており、戦国末期になると在番制による城将が派遣されていたものと思われる。

天正19年の伊達氏の移封後は、蒲生氏郷の家臣・水野三左衛門が在城し、また慶長5年の上杉氏と最上氏の合戦においても、直江兼続らの上杉勢の主力は、荒砥城を兵站基地として畑谷城を攻め、山形方面へと向かう作戦であった。東方の金剛山館や最上川対岸の鮎貝城とも連携して、ますます要害としての機能を高めたものと考えられる。主郭部は南北に約100、東西に約150メートルで最長部と八幡神社の境内地とに二分され、虎口と思われるところから入城したものと考えられる。南側には土塁の名残もある。帯曲輪と空堀は周囲をめぐり、西側は急峻な切崖で防御されている。東側には水濠の名残が残っている。現在、公民館や老人福祉センターとして利用されているもう一つの曲輪は、江戸時代は荒砥御役屋として、明治以降は荒砥小学校の敷地として拡張されているが、長岡文書から推定すると、もともとは城全体を帯曲輪と堀で囲っていたものと思われる。別な小曲輪には「蛇井戸」と呼ばれる井戸があるが、有事の際にはそこから水が溢れて空堀を水で満たし、城を守ったという伝説も残っている。

明治初年の地籍図や、付近に見られる「殿町」「古城廻り」「仲町」などの地名から、家中侍屋敷地のいわば三の丸と町家も含めた総構えの城郭であったと思われ、東から北側にかけては、草木沢川が外堀の機能を果たし、金鐘寺付近にも堅固な櫓などの施設があったものと思われる。「上町」「新町」まで含めれば、東西750メートル、南北500メートルの規模となり、さらに現在県立荒砥高校や町立病院の建つ、南側の丘陵部にも城館址を想定すれば、貝生川を南の外堀とする広大な城域になり、今後の調査に期待したい。