Osmanlı döneminde Çıldır Livası Mutasarrıfı olan İshak Paşa vezirlik rütbesiyle Çıldır ve Ahıska valiliği yapmıştır. Bu dönemde İshak Paşa Sarayı ve külliyesini yaptırmıştır.

Sultan III.Selim zamanında İran sefiri İstanbul’a giderken burada konuk olmuş ve sarayın ihtişamını padişaha anlatmıştır. Ancak bu durum padişahın ihtişamına gölge düşürdüğü düşüncesi ile İshak Paşa gözden düşmüştür.

Sarayın çevresi aynı zamanda bir yerleşim merkezi idi. Ovanın çevresinde halkın yaşadığı evler, camiler bulunuyordu. Bugün bu yapıların hemen hemen hepsi yıkılmış, yalnızca çok az sayıda mezar taşı günümüze ulaşabilmiştir.

Bazı kaynaklara göre sarayın yapımını Doğubeyazıt sancak beyi Çolak Abdi Paşa 1685’te başlatmış ve oğlu İshak Paşa devam etmiş, İshak Paşa’nın oğlu Mehmet Paşa da 1784’te tamamlamıştır. Bu duruma göre sarayın yapımı doksan dokuz yıl sürmüş ve 7.600 m2’lik bir alana yayılmıştır.

Osmanlı mimarisinin en güzel örneklerinden biri olan İshak Paşa Sarayı Orta Asya, Selçuklu, İran ve Osmanlı mimari özelliklerini bünyesinde toplamıştır. Örneğin; İshak Paşa külliyesindeki caminin kubbeleri Türk-İslam kubbelerini, saray kompleksi Topkapı Sarayı’nı yapı topluluğunun kapıları da Selçuklu üslubundadır.

İshak Paşa Külliyesi iki avlu ve bu avluların çevresinde kurulmuş yapılardan meydana gelmiştir. Birinci avludaki yapıların çoğu yıkıldığından günümüze ulaşamamıştır. Birinci avluda nöbetçi odası, muhafız koğuşları, zindan, at koşum yerleri ve arabaların korunduğu mekânlar ile çeşme bulunmaktadır.

Sarayın ikinci avlusunun dört tarafı bina grupları ile çevrelenmiş olup, dikdörtgen bir plân göstermektedir. Bunlardan orta avlu etrafında, sağ taraftaki selamlık kare bir alanı kaplamaktadır. Selamlığın arkasında harem dairesi yer alır. Harem ile selamlık arasındaki alana da cami ile türbe yerleştirilmiştir.

Yapının bütününde Osmanlı saray mimari geleneği uygulanmış, bu yüzden de yapılar iç içe gruplar halinde toplanmıştır. Külliyenin birinci avlu etrafındaki bölümü giriş kapısı çevresi ve duvarları dışında tahrip olmuştur. Buradaki büyük giriş kapısı ana duvarlardan dışa doğru çıkıntı meydana getirmiştir. Kapının tüm yüzeyi kabartma bitki motifleri, stilize ağaçlar, mukarnası andıran bezemeler ve geniş alanı hareketlendiren kemerler ile kaplanmıştır. Bu kapı üzerine iki sıra halinde sekiz kartuş içerisine bir kitabe oturtulmuştur.

Sarayın ikinci avlusu dikdörtgen planda olup buradaki yapılar ve harem dairesi karışık bir düzen göstermektedir. Burada cami, türbe ve çeşitli ihtiyaçların görüldüğü hamam, kiler, aşhane, merasim salonu, fırın bulunmaktadır.

İshak Paşa Sarayı mimari planının yanı sıra taş işçiliği ve duvar süslemeleri bakımından da çok önemli bir eserdir. Ne var ki, 1877-1878 Osmanlı-Rus Savaşı’nda Ruslar burasını karargâh olarak kullanmış ve saraya ait değerli eşyaları birlikte götürmüşlerdir. Nitekim sarayın 13x6,5 m. ölçüsündeki çelik kabartmalı, altın kaplamalı kapısı bugün Moskova Müzesi’ndedir.

İshak Paşa Sarayı’nın saray bölümü 366 odalı olup, bu odalar iki katın içerisine yerleştirilmiştir. Odaların her birisinde taştan ocakları bulunmaktadır. Taş duvarların arasında geçen ısıtma tesisatı ile sarayda merkezi bir ısıtma sistemi kurulmuştur. Sarayın 20x3 m. ölçüsündeki kabul salonunun döşemesi ve duvarları taştandır. Bu duvarlar Osmanlı yazı sanatının örnekleri, ayet ve çeşitli beyitleri ile süslenmiştir. Buradaki “İshak meram üzere kerem kıldı cihanı. Bin yüz doksan dokuz buna oldu tarih” beytinden sarayın 1784’te tamamlandığı anlaşılmaktadır.

Girişin sağında yer alan selamlık ve haremin sonunda cami ve türbe bulunmaktadır. İshak Paşa Külliyesi içerisinde yer alan cami dikdörtgen plânlı olup, üzeri trompların desteklediği yüksek bir kubbe ile örtülmüştür. Caminin önü teras şeklinde olup buraya kapalı bir son cemaat yeri eklenmiştir. Kubbesi ile birlikte cami, kesme taştan inşa edilmiş, pencere kenarlarında ve bazı duvarlar zengin bitki motifleri ve mimari elemanlarla bezenmiştir. Ayrıca iç mekanda da ampir üslubunu hatırlatan süslemeler bulunmaktadır.

Caminin ibadet mekânı yuvarlak kemerli konturlarla bezenmiş olup, bunların aralarına yuvarlak madalyonlar ve bitkisel motifler yerleştirilmiştir. Kubbe dıştan çok büyük olarak görülmesine rağmen, içeriden oldukça küçük ve basıktır. Kubbe, Orta Asya ve Selçuklu türbelerinde olduğu gibi burada da iki katlıdır. Kuşkusuz bunun da nedeni İshak Paşa Camisi’nin Orta Asya’ya ve İran’a yakınlığından kaynaklanmaktadır.

Caminin güneyinde Selçuklu üslubunu andıran iki katlı Çolak Abdi Paşa’nın türbesi bulunmaktadır. Türbe içerisinde Çolak Abdi Paşa, İshak Paşa ve aile yakınları gömülüdür. Sekizgen planlı, kesme taştan yapılmış olan bu türbenin iki katlı oluşu Selçuklu geleneğinin bu dönemde de sürdüğünü göstermektedir. Aynı zamanda bu türbe Selçuklu kümbetlerini de hatırlatmaktadır. Türbenin alt katı cenazenin gömüldüğü cenazelik veya mumyalık bölümüdür. Osmanlı mimarisinde, Erken Osmanlı dönemi dışında cenazelik bölümleri türbelerde görülmemektedir. İshak Paşa Sarayında bu tür bir Selçuklu türbe mimarisinin uygulanması oldukça ilginçtir. Türbenin duvarları da camide olduğu gibi çeşitli bitkisel motiflerle bezenmiştir