白井城は、山内上杉氏の有力な配下で家老職を勤めた長尾一族のうち、白井を本拠とした白井長尾氏の居城である。長尾氏が上野国に入ったのは、建武4年（1337）に上杉憲顕が上野・越後両国の守護となり、長尾景忠が守護代を務めたことに始まる。

上野での景忠の居所は惣社（前橋市）で、当時白井には白井氏を名乗る武士団が存在していた。その後上野と越後の守護が分岐し、長尾氏も景忠の3人の子どもが分立し、景廉が越後長尾氏、景直が鎌倉長尾氏、清景が白井長尾氏の祖となったと「雙林寺本平姓長尾系図」に記されている。

白井城の築城年代は、虎口東側に張り出し部を有する本丸の構造が、享徳の大乱（1454～1482）時に上杉軍が本陣とした武蔵五十子城（埼玉県本庄市）の主郭構造と相似していることから、両城とも15世紀半ば頃、長尾景仲（昌賢）が城主の時代に築城されたものと推定されている。

長尾景仲は、主君である関東管領上杉憲実・憲忠・房顕に仕え、「関東無双の案者（知恵者）」と称された武将である。中郷に月江正文を開山として雙林寺を建立し、白井城内には京都から儒学者藤原清範を招いて聖堂を建立し家臣に儒学教育を行っている。雙林寺には県指定重要文化財「長尾昌賢木造と長尾氏位牌」が保存されている。

景仲の没後、北条氏、上杉氏、武田氏による覇権をめぐる戦乱の中、白井長尾氏は景信、景春、景英、景誠、憲景、輝景、景広と代替わりし、景広城主の時、豊臣秀吉の小田原攻めが開始され、天正18年（1590）、前田利家、上杉景勝の両群の前に開城した。豊臣方に開城した白井城は、徳川家康家臣の本多広孝に与えられ、その子康重は2万石で城主となった。家康領国下では沼田城の真田昌幸を押さえる前線基地の役目を果たしたことになる。康重の岡崎移封後は康重の第2子紀貞が入城したが、寛永元年（1624）死去し、嗣子がなかったため廃城となった。

白井城は本丸を中心とした梯郭式縄張りで、五重の空堀と土塁がめぐる。西側は吾妻川の崖線上に形成され、自然の要害となっている。

本丸出入口に現存する野面積石垣の枡形虎口や、本丸東側の南曲輪・新曲輪は本多氏の時代に拡張・整備されたものである。枡形虎口前方東側の三日月堀は白井城址唯一の水堀で、武田氏築城法によって築城した名残と言われている。また、本丸奥には天守建築かそれに相当する建物の存在を思わせる櫓台石垣がある。

本丸背後に一辺15mの笹曲輪が設けられるほか、本丸北には二の丸、三の丸、北曲輪があり、その北西に金比羅曲輪が残る。北曲輪には大手虎口が開かれる。本丸、二の丸、三の丸の東側は堀を隔てて幅10m程の帯曲輪が長く続き、北曲輪大手虎口に達している。

この城の惣曲輪は、北側の吹屋屋敷・松原屋敷と東側の白井宿に囲まれていて、その外側に東西950mの北遠構と南北650mの東遠構の堀がある。大手虎口北側の吹屋では、近年まで鍛冶が行われていた。宿は城東側に南北に形成され、道路中央に用水遺構が設けられている。

長尾氏時代の外構には、城の護りとして愛宕神社、大宮姫神社、神明宮、玄棟院といった寺社が配置され、後に源空寺が建った。