龍虎城は、財部六郎正信によって築城された。城は、12の砦から成り、その形はあたかも虎が伏し、龍がひるがえっている姿に似ていることから龍虎城と命名されたといわれる。別に財部城とも北俣城とも呼ばれる。

城内は本丸、二ノ丸、財部城、飯池、池ノ上、小城、桜城、中丸、外城、野頸、松尾、和田尾の12の郭から成り、要塞堅固な城であった。面積は8ヘクタールで、本丸は現在の忠霊塔のある台地に、中丸は正面入口の階段を登った頂上に築かれていた。

財部六郎正信の後は、猪俣新左衛門、新納近江守忠続、北郷讃岐守忠相等が領した。

慶長4年（1599）の庄内の乱（庄内合戦）の際は伊集院忠棟入道幸侃の甥である伊集院甚吉が守将となった。城は島津勢の攻撃にも落城せず、最後まで抵抗した。龍虎城の降伏をもって庄内の乱は終わった。

元和元年（1615）の一国一城の令により廃城となったが、現在も山城として原型をとどめており、財部のシンボルとなっている。