Край селото се намират останките на римския град Никополис ад Нестум.
В „Етнография на вилаетите Адрианопол, Монастир и Салоника“, издадена в Константинопол в 1878 година и отразяваща статистиката на мъжкото население от 1873 година Герблен (Guerblen) е посочено като село с 90 домакинства и 390 българи.[2] В края на XIX и началото на XX век Гърмен е изцяло българско село в Неврокопска каза. В 1889 година Стефан Веркович („Топографическо-этнографическій очеркъ Македоніи“) отбелязва Гарблен като село с 90 български къщи
При избухването на Балканската война 35 души от Гърмен са доброволци в Македоно-одринското опълчение.[9] След Междусъюзническата война селото остава в България.
От 1923 година в Гърмен работи Народно читалище „Искра“. В селото има училище „Св. св. Кирил и Методий“, открито още през 1868 г. и действащо.
Старото село Гърмен е преселено по-надолу към полето за няколко години след 1946 г.
През 1959 г година към Гърмен е присъединено съседното тогава село Заграде. В него се намира вековният Заградски чинар, обявен за защитен вид.[13]
Църквата „Свети Георги“ в стария Гърмен е от 1898 година. Мястото е обезлюдено, църквата е в развалини (2019), покривът ѝ е паднал; доброволци са решили да възродят старата църква. Другите църкви са „Свети Георги“ (1864) и „Света Неделя“ (XX век) в кв. Заграде, както и „Света Анна“ (2003) в новия Гърмен.
Носът Гърмен на остров Смит в Антарктика е наименуван в чест на село Гърмен.
