狩野城跡は、平安末期（1100年頃）、狩野氏によって築かれた城の跡である。標高190mの城域には、鎌倉時代に発達した二重堀を備え、本郭・西郭・南郭・中郭・東郭・出丸に区分される。中世山城の遺構が、築城後1000年近くも保存されている貴重な史跡である。

狩野氏は祖とされる狩野維景（かのこれかげ）が駿河守を退任し、市内の日向（ひなた）地区に館を構えたが、その子である狩野維職（かのこれもと）が伊豆押領使を務めるなど、軍事上の必要もあり、要害なこの地を選び移ったといわれている。

明応2年（1493）からの伊勢宗瑞による伊豆侵攻の際、城主だった狩野道一（かのどういつ）は足利方に付いて戦い、明応7年に敗れて開城した。その後一族は小田原に移り、後北条氏の重臣として要職を歴任している。

室町時代中頃から絵師として栄えた、狩野派の初代狩野正信は、維景から16代目の孫である。