На місці, де колись розташовувалося давньоруське поселення, місцевий староста А. Пісочинський в 1635 році заклав земляну фортецю. Ця фортеця була значно збільшена у 1685 році. Згодом Глухів став місцем постійного перебування гетьмана. Для в’їзду у місто в 1766-1769 роках були побудовані кам’яні Київські та Московські ворота. Київські ворота були вправлені в земляний вал, де розташовувались невеликі кам’яні вмістилища для стражників.
В 1804 році місто Глухів зазнало значного перепланування. Був розкопаний вал, зміцнення знищили, а Московські ворота розібрали. Київські ж ворота вирішили перебудувати. Були замінені колишні кордегардії на більш масивні, а з боків зробили ходи для людей. Проект оновлених воріт розробив чернігівський архітектор А. Карташевський.
Від колишньої фортеці залишився лише один з чотирьох в’їздів в старе місто. Окрім Київських воріт, до наших днів залишилися вцілілими фрагменти оборонної лінії.
