據說，有人稱贊孔子的弟子子貢很有學問，子貢聽說以後，就說：「人的學問好比宮牆，我的學問只有牆頭這麼高，人們一看便會看見牆內的一切，而我的老師孔子的這道牆有數仞，不找到它的門是不能看到牆內宗廟之美麗、房舍的多種多樣。」 後人為表達對孔子的敬仰，明代胡纘宗就寫了『萬仞宮牆』四個字鑲在城門上，清代乾隆皇帝為了顯示自己對孔子的崇拜，又把胡碑取下，換上了自己寫的 『萬仞宮牆』四個大字。這就是『萬仞宮牆』的來歷。