「志在四方」由「四方之志」衍變而來。「四方之志」出自秦朝孔鮒編撰的《孔叢子》（記述孔子及其後代言行的一部書）。《孔叢子儒服》篇記載著這樣一個故事：
孔子第五代孫孔穿，字子高，出遊趙國（今河北省南部一帶）。在趙國，他和趙勝（即平原君）門下的賓客鄒文、季節兩人交了朋友。後來孔穿要回魯國了，鄒、季兩人上路相送，一直送了三天，陪著走了不少路，總是戀戀不捨。臨別的時候，鄒文、季節竟難過得流下眼淚，而孔穿只躬身向他倆輕輕一揖，就轉身而去。與孔穿同行的人不理解他為什麼如此不近人情。孔穿說：起初我以為他們都是大丈夫，想不到這兩個人卻如此婆婆媽媽，「人生則有四方之志」，怎麼能兒女情長、長期聚在一起呢？
作為成語，「四方之志」現在一般都說「志在四方」，用來形人們的遠大志向。