Köse'nin kuruluşu ve tarihi konusunda kesin bilgi ve bulgular bulunmamakla beraber bölge Hitit, Asur, Makedonya, Roma ve Bizans hakimiyetinde kalmış ise de Türk hakimiyeti döneminde ( Selçuklu, ilhanlı, Akkoyunlu ve Osmanlı) kurulmuş olması muhtemeldir. "Köse" adının Türkçe oluşu ve kültürümüzde yaygın olarak kullanılan lakap ve soyadları arasında bulunması kanıt olarak gösterilebilir. Köse Ağa adındaki bir beyin oymağı ile Yurtlar ve Ekinyüzü Mevkilerine (Köse Dağı) yerleştiği ve sonra Örenlere (Köse'nin 2 km doğusunda) ve nihayet şimdiki yere yerleştiği ve Köse adınının da bu beyden geldiği rivayet edilmektedir. 1516 yılı Bayburt tahrir kayıtlarında Bayburt Sancağı'nın Kelkit Nahiyesine bağlı bir köy yerleşmesi olarak adı geçmektedir. 1916 yılında Rus ve Ermenilerin istilasına uğramış ancak 17 Şubat 1918 günü işgalden kurtulmuştur. Cumhuriyet döneminde Gümüşhane'nin il yapılmasının (1924) ardından Kelkit Kazasına bağlı bir bucak merkezi haline getirilmiştir. Köse 1954 yılında belediye 3392 sayılı kanunla da 19.06.1987 tarihinde ilçe olmuştur. Salyazı beldesi ve köylerin kuruluşları konusunda da kesin bilgilerin bulunmamasına rağmen Türk kültürünün dışında daha önce yaşamış olan milletlere ait iz ve eserlere rastlamak mümkündür. Coğrafi Konum : Köse İlçesi, Gümüşhane il merkezinin güneyinde olup, 39-40.ncı boylamlar ile 40-41.nci enlemler arasında yer alan Kelkit Çayı vadisinde kurulmuştur.Kuzeyde Gümüşhane il merkezi, doğuda Bayburt il merkezi, batıda Kelkit ilçesi ve güneyde Bayburt ili ve Kelkit ilçesi yer almaktadır. Deniz seviyesine göre ortalama yüksekliği 1650 metre civarında olup, yüzölçümü 500 km2' dir.İlçenin yeryüzü şekilleri 2 bölüm halinde incelenebilir: Bunlar, ilçenin kuzeyinde yer alan dağlar (Köse Dağı) ite bunların güneyinde yer atan ovalık sahalardır. (Köse Ovası, Mormuç Düzü) diğer bir ifadeyle ilçe dağ eteği düzlüğünde kurulmuştur.İlçe sismik aktivite açısından II.derecede deprem kuşağı içerisinde bulunmaktadır.