謝安在年輕時就很出名了，揚州刺史庾冰多次誠心的請他去做官，在不得已的情況下，謝安就在那裡勉強的應付了一些時日。但是沒到一個月，他又回家了。 後來朝廷幾次讓他做官，他都拒絕不去。實在沒辦法了以後，他前往會稽（今天的浙江 紹興）的東山，作了隱士。 朝廷仍然沒有放棄讓他做官念頭，不得已謝安接受了朝廷的任命。據說，謝安在作了大官後還在想著過隱士的生活。 《謝安傳》裡記載著：「安雖受朝寄，然東山之志，始末不渝。」其中的「始末不渝」，也就是現在我們說的「始終不渝」。