三瀬館跡は、上三瀬の北側にある鎌止山の裾野にあり、北畠具教は、裾野をほぼ三段に改修し、館の敷地を作った。

そして、ここに館を築き、松阪の大河内城から移った具教は、天正4年（1576年）に謀殺されるまでの4年間、居住していた。

しかし、敷地のどこに、どのような造りの家に具教が住んでいたのか、資料が発見されていない現在では、明らかではない。

館跡の西と南側には、万一の防備に役立つ深い谷川が流れていて、東と北側は山の急斜面になっている。

また、南側は開けており、三瀬一帯と宮川を隔てて舟木や度会の山々を見渡せることができる。

青年のころに具教は、当時「剣の達人」と言われた塚原ト伝から「一の太刀」の秘伝を受け、師匠の卜伝との居合わせでは、互角だったという話も残っている。

このように武道に秀でた具教にとって、名門の流れをくむ北畠家が、日に日に凋落していくのは我慢ならないことだった。

具教、熊野街道が通り、宮川流域の山深い要害の地（上三瀬）に館を築いて移り住み、機会があれば北畠の勢力を復興しようと、いろいろと画策したようである。

当時の伊勢地方の戦乱の様子を書いた「伊勢軍記」に、具教の三瀬隠居のことが次のように述べられている。

「具教卿は城を多気郡三瀬に立て、之に居住し給う。故に三瀬御所と号す。此谷、宮川の上、大杉山にありて、熊野、吉野、川上に続きて嶮難無双（たいへん山が深く険しいこと）の地なり。兵乱あるときは此の山中に入らんが為なりと言う。」

具教の三瀬隠居は単なる隠居ではなく。北畠氏復興の決意を胸に秘めてのことだったようである。