Merkez, Torul ve Kürtün ilçeleri Doğu Karadeniz dağları arasında Harşit çayının oluşturduğu  derin vadinin kenarında yer alır. Arazi son derece engebeli ve dağlıktır. Şiran, Kelkit ve Köse ilçeleri ise yüksek ovalardan oluşur. İl Karadeniz'e 100 km uzaklıktadır. Ortadoğu ve Uzakdoğu'yu Trabzon Limanına bağlayan tarihi İpek yolu Zigana dağlarından aşarak denize ulaşır. Dağlar arasında önemli yaylaları mevcuttur. Kadırga, Erikbeli, Kazıkbeli, Yücebelen, Çıkrıkdüzü gibi yaylaları ünlüdür.

İlin sınırları içerisinde bulunan dağlar Köse ilçesinin kuzeyinde yer alan 1900m yüksekliğindeki Köse Dağı, ayrıca 2000m. üzerinde bulunan başlıca dağlar: Zigana Dağı, Çilhoraz Dağı, Çakırgölü Dağı Kostan Dağı, Çakıl Dağı, Balaban Dağıdır.