張玄素任景州錄事參軍時，唐太宗召見他，詢問他為政之道。張玄素說：「隋煬帝喜歡專斷大小事務，不信任大臣，以一個人的智慧來決斷天下的事，最終走向了滅亡！陛下要是能夠謹慎選擇大臣，觀察和考核他們的政績而加以賞罰，何必憂慮國家治理不好呢！
另外，我觀察到隋末戰亂不止，其實真正想奪取天下的不過就那十幾個人，為非作歹的很少，大多數都是為了保衛自己的家鄉，等待著歸附有道的明主。很少有人了解百姓為什麼作亂，只是人君不會安撫而已！」太宗就擢升他為侍御史。
貞觀四年，唐太宗要重修洛陽宮乾陽殿。張玄素說：「我曾經見過隋朝修宮殿，在豫章（今南昌）伐木材，兩千人拉一根大木，鐵做的車轂走不了幾裡就壞了，需要幾百人抬著備用的車轂跟著，一天走不上三十里地。從前阿房宮修成了，秦朝就滅亡了；章華宮修成了，楚國也衰敗了；乾陽殿完工了，隋朝也解體了。現在我們國力不及隋朝，百姓剛剛遭受戰亂──我恐怕陛下的過錯比隋煬帝還大。」太宗說：「你說我還不如隋煬帝了嗎？」就停修了。
魏征知道了，說：「張公論事，有回天之力。」
「回天之力」比喻能挽回嚴重局勢的力量。
（出自《新唐書‧張玄素傳》）