Doğu Karadeniz Bölgesinde yer alan İlimiz doğusunda Bayburt, batısında Giresun, kuzeyinde Trabzon ve güneyinde Erzincan ile komşudur. Gümüşhane 38° 45' - 40° 12' doğu boylamları ile 39' 45' - 40' 50' kuzey enlemleri arasında olup,Yüzölçümü 6.575 kilometrekare , deniz seviyesinden yüksekliği ortalama 1210 metredir. Yeryüzü şekilleri bakımından Köse, Kelkit ve Şiran ilçelerinin yer aldığı güney kesimi yüksek bir plato özelliği gösterirken, Merkez, Torul ve Kürtün ilçelerini kapsayan kuzey kesimi oldukça engebelidir. Dar ve derin vadilerle birbirinden ayrılmış yüksek dağlar kuzeyin belirleyici özelliğidir. Gümüşhane’nin ünlü yaylaları da bu kesimde yer alır. İlin en yüksek noktası 3.331 metre ile Abdal Musa Tepesidir.

Gümüşhane’nin içinden geçen Harşit ile Kelkit vadisini boydan boya kat eden Kelkit Çayı ilin başlıca akarsularıdır.Arazinin % 60’ını dağlar, % 29’unu platolar, % 11’ini ovalar teşkil etmektedir.