南墙指的是影壁墙，旧时人们认为自己的住宅中，不断有鬼来访。修上一堵墙，以断鬼的来路。鬼不能转弯，只能直来直去，于是就在对着大门的地方修一堵墙，叫影壁或照壁。后来人们用不撞南墙不回头表示不达到目的，绝不罢休的决心和勇气。