這個成語出自西漢賈誼的《過秦論》，講的是秦末陳勝、吳廣領導的農民起義的事情。
公元前209年7月，陽城（今河南登封東南）的地方官派出兩名差官押着九百名貧民壯丁，到漁陽（今北京市密雲縣）去防守邊疆。這兩個差官又從壯丁裏挑選出兩個身強力壯的人作屯長，讓他們再去管理其餘的壯丁。這兩個屯長一個叫陳勝（字涉），是個僱農；另一個叫吳廣，是個貧農。他倆原來並不認識，現在碰在一起，共同的命運，很快就使他們成了好朋友。
陳勝、吳廣一行往北拼命趕路，一點也不敢耽誤。因爲按照秦王朝的法令，誤了日期，是要砍頭的.。可是，他們剛剛走了幾天，纔到大澤鄉（今安徽宿縣西南），正趕上下大雨，只好紮了營，待天晴再走。雨又偏偏下個不停，眼看日期是耽誤了，陳勝同吳廣商量，說：“咱們即便走，誤了日期，也是死；逃，給官府抓住，也是個死。反正是個死，不如大家一起反了，推翻秦二世，爲老百姓除害。”
吳廣也是個有見識的人。他同意了陳勝的意見，並商定藉着被秦二世害死的太子扶蘇和深得羣衆擁戴的原楚國大將項燕（項羽的祖父）的名頭，以號召天下，去攻打秦二世。
於是陳勝和吳廣就帶着幾個心腹首先把那兩個差官砍死，然後提着他們的頭，向大家講明瞭不起義造反就得白白地送死的道理。這幾百人一下子都表示情願豁出性命跟着陳勝、吳廣一塊兒幹。大夥砍伐樹木爲兵器，高舉竹竿爲旗幟，對天起誓，同心協力，推倒秦二世，替楚將項燕報仇。大家還公推陳勝、吳廣做首領，一下子就把大澤鄉佔領了。大澤鄉的農民一聽陳勝、吳廣他們起來反抗秦朝的暴政，青年子弟都紛紛拿着鋤頭、鐵耙、扁擔、木棍來營裏投軍。
人們將“斬木爲兵，揭竿爲旗”簡化成“揭竿而起”這個成語，比喻高舉義旗，起來反抗。多泛指人民起義。
