溝辺城は、薩・隅・日の地理纂考（薩摩・大隅・日向の一部の地誌を編集したもので、明治十年ごろ完成）に「溝辺城ハ溝辺村（今ノ麓）ニアリ元弘ノ頃、溝辺孫太郎居城ナリ。事跡詳ナラス」とあります。

溝辺城は、鎌倉時代の末期、後醍醐天皇（第九十六代）元弘二年（一三三二年）ごろ、溝辺孫太郎という豪族の居城（山城）として築かれたと伝えられています。溝辺城は、昔から城山と呼ばれています。これは、江戸時代、薩摩藩の城の形態が「館造」（地頭所）と「詰城」になっており、詰城のことを城山と呼んでいたためです。薩摩藩内には、城山という山城がたくさんあります。代表的なものは、鶴丸城に城山（鹿児島）・舞鶴城に城山（国分）などがあります。

城の形状は、南北約四百メートル、東西約五十メートルの細長い丘陵地で、北側から林道が内部に延びており、この辺りが城の入口と思われます。この林道を奥に進むと、人力によってなされたと思われる切り通しの跡や、井戸と思われる跡が確認されています。

頂部は、比較的平坦に土がならされ、いくつかの段状になっているなど、山城としての形状がうかがわれます。

時代は流れ室町時代の中ごろ、肝付越前守兼固が四千五百石を領する溝辺城主となりました。以来、子兼演とともに力を合わせ、溝辺郷の治世に励み、兼演の働きによって大永六年（一五二六年）には辺川（現加治木町辺川）を与えられました。さらに、天文三年（一五三四年）には島津勝久から新しく加治木領を与えられ、溝辺、辺川、加治木を併領する領主となり、加治木城に本拠を移しました。この進出の時には、家臣十九家と、その他十八家の者たちを従えて加治木へ移動しました。

その後、肝付家は兼演―二代弾正忠兼盛―三代弾正忠兼寛―四代三郎五郎兼三まで四代の間、天文三年から文禄四年（一五九五年）までの六十一年間、溝辺、辺川、加治木の地域を治めてきましたが、豊臣秀吉の九州征伐の際、島津義久は秀吉に降伏し、その結果、加治木、溝辺、日当山は豊臣秀吉の直轄地となり、石田治部少輔三成がその代官となりました。

文禄四年（一五六一年）、島津領内の所領替えにより肝付氏は薩摩国喜入、宮村、清水村の領主となって喜入に移ることになり、この時溝辺よりお供した家臣旧家と、さらに加治木の家臣たち多数を従えて移転しました。