孔祥熙故居座落在太谷城內無邊寺的西側太谷師範學校院內，是太谷城內現存最大、保存最完整的具有清代中期建築風格的一座宅院，系省級重點文物保護單位。
宅院原系太谷士紳孟廣譽的老宅，建於清乾隆到咸豐年間，1930年爲孔祥熙購得。1934年蔣介石曾到此居住，後爲日寇、蔣閻兵站、醫院、特警佔用。1948年八月鄧小平同志曾光臨宅院。
宅院座南朝北，東西91米，南北69米，總面積6325平方米。現存正院、廚房院、書房院、戲臺院、墨莊院、西花園及部分殘損的東花園。它由多個橫向排列的套院組成，每個套院均沿中軸線方向分割爲多個四合院。各院間用明廊、抱廈或過廳相隔。主體建築均使用斗拱飛椽，造形美觀大方。木構部分雕樑畫棟，瀝粉堆金，宛似七彩虹霓。各院之間有垂花門、寶瓶門和八角或月牙門相通，隔牆則用多種造型的窗戶予以裝飾。宅院造形各異，風格多樣，整體典雅純正，細部玲瓏剔透，寬猛相濟，濃淡相宜，顯得十分和諧。
正院爲三進院落，建有富麗堂皇的.木構門樓，前有門廳，東西兩廂爲敞軒，東有八角門可入東一院至東花園。人垂花式二門，進捲棚式過廳，廳兩側小門可通書房院與賞花廳院。過廳迎面有官廳三間，硬山式雕花正脊，前施廊柱，十分宏敞，南北有門，是接待賓客和舉行禮儀的主大廳。東廂名“三有堂”（有猷、有爲、有守），西廂名“三多堂”（多福、多壽、多男），皆爲內眷居室。
過官廳即達三進院，院系樓院建築，東西樓爲女眷居住，二層即爲未婚女子的“繡樓”。南樓是主人居所，一層前有抱廈，原懸傅山書“謹節亭”匾額。二層懸有“瀛洲風範”四字匾額。該樓建築華麗，用料講究，高聳宏大，是全院的最高建築，體現了主人的地位。
正院西面，有書房院，稱“日知月無忘”齋，乃封建士大夫自修自勉之語。書院南有一狹窄的長條院，即廚房院，又爲僕人居所，建築結構簡陋，與東面的正院形成鮮明的對照。
書房院西便是西花園，建於清咸豐十年（1860）。院中鑿地爲池，池中石基上架一木構方形小亭，名“小陶然”，爲主體，配以其他景點，具有小橋流水、亭榭湖石的南方園林特色。穿過“沁心”瓶式門洞進戲臺院，這是主人觀戲宴客之所，有戲臺、耳房、看廂，佈局高低合理，遠近適中，聲傳樂收，效果甚佳。最西爲帳房院，因懸有岳飛書“墨莊”二字匾額，後人稱爲墨莊院。
孔宅現存建築基本完好，東花園大體面目猶存。總體上看既有北方民居的特點，又有南方園林的特色。是南北住宅和宅園融爲一體的實物典範。這座大院已成爲文化旅遊景點。
