樺沢城跡は、上田（南魚沼市）から妻有（十日町市）を経て越後府中（上越市）へ通じる魚沼丘陵の栃窪峠と大沢峠を背後に控える要衝にある。城を取り巻く城之入川を挟んで大字樺野沢と大字大沢には、上田橋の地名が残る。長享2年（1488）、三国峠を越えて上田庄に入った京都の僧万里集九は、城下に上田山大儀寺に2泊し、漢詩に上田を詠んでいる。

標高304メートルの主郭と、それを取り巻く二重の帯曲輪からなる実城を中心に、東へ向かって二ノ郭、三ノ郭が築かれている。実城と二ノ郭、二ノ郭と三ノ郭の間にはそれぞれ長大な空堀を配している。また、南西部には、谷を隔てて西ノ郭を構え、周囲の斜面に二重の横堀を穿ち、南西からの侵攻を阻んでいる。主郭背後に続く尾根には間口21メートルに及ぶ堀切があり、その先に畝状竪堀が並び、さらにその先にある２つの深い空堀で後方を遮断している。城の周囲には、二重ないし三重の空堀と土塁が曲輪群を取り囲むように鉢巻状に巡っている。

主郭の東八合目には胞衣塚（えなづか）と呼ばれる小さな石祠があり、「正徳二年辰四月吉日・椛沢村」と刻まれ、上杉景勝が誕生した時にその胞衣を納めたといわれている。川を挟んで城に隣接する龍澤寺には、上杉謙信の朱印状があり、本尊文殊菩薩は景勝の母親仙桃院（謙信の姉）が寄進したものである。

謙信急死後の「御館の乱」では、景勝と争った景虎（北条氏からの養子）を援けるために国境を越えて侵攻してきた北条軍により荒戸城・直路城に次いで樺沢城も落城し、一時、北条軍の最前線基地（本陣）になった。

御屋敷の南にある観音堂は、寛文年中（1661～73）の開墾時の夥しい遺骨の発掘と埋葬を今に伝えるもので、攻防の激しさを物語っている。

城下麓の「城館」等の屋敷跡は、上越線敷設に伴い一部消失したが、城下周辺には御屋敷、元屋敷、上屋敷、中屋敷、下屋敷等の地名が今に残り、少し下って上田橋、町屋敷、古町、桜町、前屋敷がある。元屋敷に隣接して仙桃院のお花畑跡がある。さらに黒金、綿貫、小泉、宮嶋の名を冠する地名、家臣団の屋敷があった大沢「村の内」に続いて鷹匠屋敷、本倉屋敷が並ぶ。

雪国の風俗文化を描いた『北越雪譜』の著者鈴木牧之は、「永世記録帳」に、「初代鈴木五郎左衛門国宗は、上杉氏に属し北条氏との戦いで戦死、上田庄大儀寺に葬られた。二代右馬頭国計は、樺沢城主栗林肥前守に仕え、三代弥兵衛国宣は、上杉氏の会津国替えに伴った。」と記している。栗林肥前守は最後の城主であり、景勝の後見にもなっている。

慶長3年（1598）、樺沢城跡は上杉景勝会津移封により廃城となった。