砀山东周春秋时期，属宋国，宋国国都商丘，战国，改属齐国、后归属魏国，秦始皇二十二年，灭魏国，置砀郡，为三十六郡之一，在县境设下邑县。而砀郡即今商丘睢阳区，因东有芒砀山而得名。后来砀山曾属永州（永城）、单州（单县）、济州（济宁）等。明洪武四年，砀山县改属徐州。
这个传说主要与汉高祖刘邦有关。传说中，刘邦在担任沛县泗水亭长时，奉命押送劳工去骊山为秦始皇修筑陵墓。
当他们行至砀山时，刘邦见到一条白蛇横卧路中，于是他拔剑将白蛇斩为两段，并借此机会宣称自己是奉天命聚众上砀山，举义反秦。这个事件后来被称为斩蛇起义，是刘邦建立大汉王朝的起点。