初代城主は細川真之と言われるが定かではない。

永禄期の城主篠原佐吉兵衛は上桜城主篠原長房の弟である。佐吉兵衛は永禄5（1562）年に和泉久米田の合戦で戦死しており、その後天正期には篠原氏の家臣荘野和泉守兼時が守ったが、長宗我部氏の侵攻により落城し、城には香宗我部親康が入り、荘野氏も土佐方に属したという。

天正10（1582）年5月には三好氏の求めに応じ、織田氏の四国攻略軍の先鋒として阿波に入った三好笑岩が夷山城を攻略するが、中富川の合戦で再度落城する。四国を制圧した長宗我部元親は同盟関係にあった一宮成祐を夷山城に呼び出し謀殺する。

城跡は園瀬川左岸にある東西に連続する独立丘陵で、圓福寺裏山にあたり、一部公園化されている。主郭は南側の標高17ｍの丘陵頂部と考えられているが、公園整備により曲輪等の遺構は残っていない。