M.Ö. 680' li yıllara kadar Urartu hakimiyetinde kalan Hanak' ın yazılı kaynaklarda bilinen ilk ismin Kırmalar mevkiindeki Kaya yazıtından alınan Urartuca bilgilere dayanılarak 'Tariu' olduğu anlaşılmaktadır.

Çeşitli medeniyetlere beşiklik eden Hanak Oğuzların eline geçtikten sonra farklı isimlerle anılmıştır. (Kanak- Kanık) Oğuz boylarından (Kıpçak) ağzıyla ' KHANAH' oymağından kalma olduğu sanılmaktadır. Zamanla baştaki ' K' harfi düşüp ismin sonundaki 'H' harfi telaffuz zorluğundan dolayı 'K' harfine dönüşerek Türkçe büyük ses uyumuna uygun hale gelmiş ve 'Hanak' olmuştur.

İlçeye bağlı Karakale köyü ortaçağda ilbeyi merkezi idi. Bugünde köyde eski şehrin harabeleri mevcuttur. Kırmalar mevkiinde bulunan Kaya Yazıtı şehrin tarihine ışık tutmaktadır.

Selamverdi mahallesinde bulunan Kilise kalıntısı ile şehrin Güneybatısında merkeze yaklaşık 5 km. mesafede bulunan Kırnav Kalesi tarihi değere sahip yerlerdir. Ayrıca ' Harosman' adıyla maruf Ortakent yakınlarında bulunan kaya oymalı, irili ufaklı mağaralar tarihçi ve arkeologların araştırma ve tetkiklerini beklemektedir.

Osmanlı taşra teşkilatı ve eyalet sistemi içinde Hanak ve yöresinin 'Meşe Ardahan' namıyla ve ' Küçük Ardahan' olarak yer aldığını biliyoruz.

İsmail HAKKI Uzunçarşılı, eserinde Erzurum eyaletine bağlı olarak Liva-ı Ardahan' dan başka Liva-ı Küçük Ardahan sancağının da mevcudiyeti bildirilmektedir. Kast edilen bu ismin Ardahan' ın doğusunda bulunan bölgeler ve dolaysıyla Hanak ve yöresi olduğu kuvvetle muhtemeldir. Hanak, 93 Harbi olarak bilinen 1877-1878 Osmanlı- Rus savaşından sonra 3 Mart 1878' de imzalanan Ayestefanos Andlaşması ile Elviye-i Selâse (üçvilayet) den olan Ardahan ile birlikte Rusya' ya savaş tazminatı olarak verilmiştir. Rusya' nın I. Dünya Savaşı devam ederken Bolşevik ihtilaline sahne olması nedeniyle savaştan çekilmesinden sonra imzalanmak sorunda kaldığı Brestlitowsk Barışı ( 3 Mart 1918 ) ile Bolşevik Rusya buraları Osmanlı Devleti' ne teslim etmek zorunda kalmıştır. 30 Ekin 1918' de Mondros Mütarekesiyle tekrar elden çıkan Hanak, 3 Aralık 1920' de imzalanan Gümrü Antlaşmasıyla resmi olarak Gürcülerden alınmıştır. Fakat bu tarih Ardahan' ın Türkiye' ye İltihak tarihi olup asıl Milis Kuvvetleriyle düşman işgalinden kurtuluş tarihi 1 Marttır. 11 Mart 1921 tarihinde yapılan Moskova Antlaşması ile bu durum siyasi sonuca bağlanmıştır. Ardahan' ın nahiyesi iken 1958 yılında ilçe olmuştur.