下级藩士小森贞助之子,本名小森彦次郎,后作为河上彦兵卫养子而改姓。少年时代曾作为“茶坊主(和尚)”改名彦斋,并跟随宫部鼎藏、轰武兵卫、林樱园等人学艺,在他们影响下便抱有尊皇攘夷的思想,强硬的攘夷派。清河八郎等攘夷派开始活动时脱离僧籍,熊本藩选拔亲兵时,和师傅之一的宫部鼎藏一同作为干部。8月18日政变后,护送公卿三条实美前往长州藩,此后便在长州藩活动。
池田屋事件后,为了帮死于新选组手下的宫部鼎藏报仇再度前往京都。同年7月11日,以“穿着洋人服饰骑着西洋马鞍的高头大马在神圣的京都目中无人行走”的理由斩杀了支持公武合体的开国论思想家佐久间象山,一举成名。禁门之变和长州征伐中皆作为长州藩一员参战。
回归熊本藩时,由于熊本藩被佐幕派把持而一度遭到监禁。出狱后改名高田源兵卫,在鹤崎设立“有终馆”教导兵法和学问,成员有士兵数百人。由于其对明治政府不满经常发表反政府言论,加上涉及颠覆明治政府的二卿事件和广泽真臣暗杀事件、以及窝藏大乐源太郎(大村益次郎暗杀嫌疑犯)而被逮捕入狱。于1872年1月13日被斩首示众。
河上彦斋身高仅有150cm,且由于是我流居合斩高手(其所在的熊本藩非常流行片山伯耆流居合)。在漫画家和月伸宏笔下,河上彦斋成为了主角绯村剑心的原型,在二次元大受欢迎。