在古詩詞中，「杏花」一直是春色的代名詞，相關的詩詞車載斗量，不乏「紅杏枝頭春意鬧」、「杏花消息雨聲中」等名句。而杏花和桃花相比，更得文人騷客的賞識。為什麼呢？楊萬里有《杏花》詩：「道白非真白，言紅不若紅。請君紅白外，別眼看天工。」這個非白非紅，白裡透紅，很是厲害。活脫脫一股嬌滴滴的羞澀樣兒，自然容易引出諸多遐想來。而桃花，歷來的形容詞是「夭」，「桃之夭夭」麼，潑剌剌的一片豔紅，比「白裡透紅」的杏花少了很多含蓄。
和杏花關聯起來的有名美女，是楊貴妃。楊玉環馬嵬坡下宛轉而死後，唐玄宗唸唸不忘，派人去收斂遺骸，美人屍骨不再，只有杏花一片。於是楊貴妃就被民間尊為二月杏花花神了。而杏花一旦和楊美女掛鉤，風流二字，自然是落不下了。到了清代，色情小說家李漁，就更加胡說八道了：「種杏不實者，以處子常系之裙系樹上，便結子纍纍。余初不信，而試之果然。是樹之喜淫者，莫過於杏，予嘗名為風流樹。」
杏花光是指代春色，進而指代風流美女，還是不行；關鍵問題是，這個杏花，總是要和「牆頭」搭起鉤來。「牆」是什麼東西？看看古人的描寫：
蘇軾·《蝶戀花》：牆裡鞦韆牆外道。牆外行人，牆裡佳人笑。笑漸不聞聲漸悄。多情卻被無情惱。
姜夔·《少年游》：楊柳津頭，梨花牆外，心事兩人知。
陸游·《釵頭鳳》：紅酥手，黃藤酒，滿城春色宮牆柳。
牆意味著「隔」。牆兩頭只有孤身一人，便是怨男怨女；牆兩頭男女相隔，就是一對痴戀了。所以，「牆」是個很曖昧的東西。來看杏花和牆的搭鉤：
唐·吳融《途中見杏花》：一枝紅豔出牆頭， 牆外行人正獨愁。
唐·宋無《牆頭杏花》：紅杏西婁樹，過牆無數花。
宋·王安石《杏花》：獨有杏花如喚客，倚牆斜日數枝紅。
宋·魏夫人《菩薩蠻》：隔岸兩三家，出牆紅杏花。
金·元好問《杏花雜詩》杏花牆外一枝橫，半面宮妝出曉晴。
宋·張良臣《偶題》：一段好春藏不盡，粉牆斜露杏花梢。
宋·陸游《馬上作》：楊柳不遮春色斷，一枝紅杏出牆頭。
可見，在葉紹翁之前，喜歡把杏花和牆搭在一起的，大有人在，老葉只是拾了別人的牙慧。好了，既然有無數的仁人志士喜歡把玉面含羞的杏花，和代表男女相隔的牆掛靠一起，還總喜歡讓杏花小姐在牆頭顧盼生姿，「紅杏出牆」的引申和聯想就變得自然而然了。
什麼時候，「紅杏出牆」變成了女子出軌的婉轉稱呼了呢？
最早的出處，可能是宋代的話本《西山一窟鬼》。其中形容女子有「如捻青梅窺少俊，似騎紅杏出牆頭」。這個話本說的是裴少俊和李千金不顧禮教的戀愛情事。元代白朴根據此話本，還寫成著名雜劇《牆頭馬上》。到了元代以後，」紅杏出牆「的用法就愈加明顯起來。比如「恰便似一枝紅杏出牆頭，不能夠折入手，空教人風雨替花羞」。到了近代，「紅杏出牆」的用法就固定了下來。鴛鴦蝴蝶派的劉若雲，還寫了名作《紅杏出牆記》。
由於「紅杏」「牆頭」在古代文學中的特殊地位，所以，」紅杏出牆「通常只是一種含蓄的指代，並且暗指這種出軌是事出有因的，」小扣柴扉久不開「」春色滿園關不住「嘛。所以是含有淺淺的」風流「褒義。
而到了今天，隨著女權的興起，「紅杏出牆」這個詞，用法和褒貶色彩發生了更多的變化。很多女同志，開始光明正大的對外宣稱：「偶要紅杏出牆了！」