赤尾木城は、1624年に種子島忠時(種子島第17代島主)によって築城された平城(城館)です。上之城、榕城と呼ばれることもあります。
1624年、それまでの居城だった西隣の内城からの移転先として築かれました。種子島久基(種子島第19代島主)の時代に山鹿流の縄張りで改修され、以後も種子島氏の居城として明治維新に至っています。
赤尾木城の名は、城内にアコウの木が繁茂していたことに由来するとされています。
現在では西之表市立榕城小学校となっており、石垣や土塁などの遺構が残っています。西隣の内城跡には種子島時尭(鉄砲伝来時の島主)の像が建てられ、近隣には月窓亭(種子島氏家老によって1795年に建設)や鉄砲館があります。