城山砦跡は、江戸時代後期の書物の『新編武蔵風土記稿』によると、天文年間に山内上杉憲政が、後北条氏に奪われた川越城を奪還すべく包囲した際にここに陣を敷いたとされており、江戸時代後期には「上杉砦」と呼ばれ、既に4段程の遺構しか残っていない、と書かれている。

現存する面積は約7,000平方メートルで、入間台地のやや舌状の部分にある、沖積面から約10メートル上の河岸段丘に、東から本郭、ニノ郭と造られている。本郭は崖面以外を高さ約3メートルの土塁に囲われ、その外側には現存する深さが約3メートルの空堀がある。

また、その更に外側に、高さ1メートルの土塁状の高みが今でも確認できる。ニノ郭は、土塁の残存と考えられる高みの上に、現状は稲荷社が祀られている。西側には深さ約1メートルの堀が残っており、狭いながらも郭を構成していたことがわかる。

平成10年度に本郭周囲のほ場整備に伴って発掘調査が行われ、最も外側の土塁状の高みの外に、更に深さ約3メートルの堀が検出された。堀の底や壁には、堀を掘ったときについたと考えられる鍬の痕も残っていたため、砦は、造られて間もなく放棄された可能性が出てきた。検出された堀は保存するために埋め戻され、現在は道路となっている。

平成18年度に、学術調査のために行われた本郭の内側の空堀の調査では、現況より更に約2メートル深く掘られている形跡が確認された。また、深い堀が崩れないように押さえるための修復したような跡が検出された。

さらに、平成22年度の小口部分の確認調査では、中世のカワラケ（小皿）の小破片が出土している。