Roma ve Bizans dönemlerinde yörede kurulu kente  Argyropolis yunanca argyros: “gümüş” ve polis: "kent".) adı verilmiştir.Gümüşhane'nin tarihi hakkında geniş ve kesin bilgi yoktur. Ancak; Bölgedeki kalelerin  M.Ö. yapıldığı bilinmektedir. M.Ö. 1200 yıllarında Hitit İmparatorluğunun yıkılışından sonra Van Bölgesinde kurulan Urartu Krallığı bir süre sonra sınırlarını Gümüşhane yakınlarına kadar genişletmiştir.Bu bölge daha Sonraları Iran Imparatorluğunun hakimiyetine girmiştir. Makedonya Kralı Buyük İskender' in Pers İmparatorluğuna son  vermesi üzerine (M.Ö. 331) Gümüşhane ve dolayları Makedonyalıların idaresine geçmiştir. Büyük İskender'in komutanlarından Filikos'un Gümüşhane'de Gümüş madeni bulması üzerine İskender'in buraya önem verdiği söylenir. Roma, Makedonya, İran Mücadelesine sahne olan bölgenin bu karışık durumunu gören Hazer Hanları Bölgeyi zaptederek, peçene oymaklarını yerleştirmeye başlamışlardır. Fakat Türk hakimiyeti kısa sürmüştür. Bölge tekrar Pers ,Bizans mücadelesine sahne olmuştur.        

Bizans hakimiyeti sırasında İmparator  Justinyanus  Bayburt  kalesini Keçikaya yı  tamir ettirmiştir .VII yüzyıl başlarında bölge; Emevi , Abbasi ve Bizanslılar arasında birkaç defa el değiştirmiştir. Gümüşhane dolayları  Selçuklu' ların Anadolu’yu fethi sırasında ilk aldıkları yerler arasındadır. Anadolu'nun fethinden sonra  Bayburt, Erzurum'da hüküm süren  Saltukoğulları emirliğine,  Gümüşhane, Kelkit ve Erzincan da kurulmuş olan Mengücük   Emirliğine bağlanmışlardır.

Anadolu Selçuklu Hükümdarı Süleyman Sah'ın Mengüçükler in hakimiyetine son vermesi üzerine bölge, Anadolu Selçuklular ının yönetimine girmiştir. 1243 de Sivas'ın kuzeyinde Köse Dağı savaşında İlhanlılar Selçukluları yenerek buraları ele geçirdiler. 1335 de Celayirliler ve daha sonra da Alaaddin Dratana tarafından bölge zapt edilmiştir.Gümüşhane ve yöresi ilk defa 1461 yılında Fatih Sultan Mehmet döneminde Osmanlı yönetimine bağlanmıştır. 1553 yılında Kanuni Sultan Süleyman, İran seferi sırasında, konakladığı bu bölgede gümüş ocaklarını gördüğünde bu bölgeye 1 cami ve 50 ev inşaasını emredip, Gümüşhane ismini vermiştir. Gümüşhane isminin verilmesinden önce şehrin ismi CANCA idi. Kanuni Sultan Süleyman, bölgede çıkan altın ve gümüş madenlerinden dolayı şehre kendi adına sikke basma yetkisi vermiştir. Maden ocakları ve şehir en canlı dönemini IV. Murat döneminde (1623-1640) yaşamıştır. 1894 yılında hükümetin madencilerin imtiyazlarını feshetmesiyle ocaklar kapanmıştır. 1916 tarihindeki Rus işgaliyle meydana gelen göçler sebebiyle nüfus durumu gittikçe azalmış ve yerleşim yavaş yavaş Harşit Vadisi'ne kaymaya başlamıştır. Cumhuriyetin ilanından 4 yıl sonra da vilayet merkezi yeni yerine taşınmıştır.