날로 심해가는 군교들의 부정부패와 학대를 보다 못해 병영을 탈출한 장군은 금강산 신계사에 들어가 지담대사의 상좌승으로 수도생활을 했다. 1895년 파계한 뒤 강원도 회양군 먹패장골에서 농사와 사냥으로 생활했다. 이즈음 일제는 동학농민전쟁 중 자국 상인과 거류민 보호를 이유로 군대를 파견하더니 그 해 6월 21일 경복궁에 난입하여 민씨정권을 무너뜨리기에 이르렀다. 그리고 을미개혁이라는 이름 아래 지방 행정구역을 개편하고 단발령을 강제 실시하는 등 우리나라의 주권을 제약하여 갔다.
전국 각지에서 국모보수(國母報讐)와 축멸왜이(逐滅倭夷)를 위해 의병이 봉기했다. 장군 또한 1895년 11월 강원도 회양에서 김수협과 봉기한 뒤 철령에 매복하여 일본군 10여 명을 사살하는 전과를 올렸다. 함경도 안변의 학포로 이동한 장군은 12명의 동지를 모집하여 의병부대를 조직하였다. 최초의 홍범도 의병부대로 불린 이 부대는 안변의 석왕사에 주둔하면서 유인석 의병부대와 연계하여 일본군과 세 번의 전투를 치르기도 하였다.
그후 단독으로 평남과 함남, 그리고 황해도 접경지역에서 의병활동을 전개하던 장군은 북청군 안산사 일대 포수들의 동업조직인 포연대(捕捐隊)의 대장으로서 포수들의 권익을 보호하기 위해 노력하였다. 1907년 9월 일제가 포수들의 총을 회수하려 하자 차도선·태양욱·송상봉·허근과 함께 산포대를 조직, 북청·후치령을 중심으로 갑산·삼수·혜산·풍산 등지에서 유격전을 벌여 일본군을 격파하였다.
1910년 한국이 일제에 의하여 강제 점령되자 만주로 건너간 장군은 3·1운동이 일어나자 대한독립군의 총사령이 되어 400명의 독립군으로 부대를 편성해 국내에 잠입, 갑산·혜산·자성 등의 일본군을 급습하여 전과를 거두었고 특히 만포진 전투에서 70여 명을 사살하였다. 1920년 6월 일본군이 제19사단의 병력과 남양 수비대로 부대를 편성하여 독립군 본거지인 봉오동을 공격해 오자 700여 명의 독립군을 지휘하여 3일간의 치열한 전투를 벌인 끝에 일본군 157명을 사살하였다. 이 봉오동전투는 그때까지 독립군이 올린 전과 중 최대의 승전으로 기록된다. 같은 해 9월에는 청산리전투에 북로군정서 제1연대장으로 참가하였다.
장군은 대한독립군단을 조직하고 부총재가 되었으며 1921년 러시아령 흑하자유시에 고려혁명군관학교를 설립하는 등 독립군의 실력양성에 힘썼으나 소련 당국의 한국독립군에 대한 무장해제령으로 빚어진 자유시사변으로 인해 이르크츠크로 이동하였다. 이후 연해주에서 콜호스(집단농장)를 차려 농사를 지으며 한인들에게 민족의식을 고취시켰다. 1937년 카자흐스탄의 크질오르다로 강제 이주된 선생은 광복을 눈앞에 둔 1943년 10월 25일 76세를 일기로 생을 마감했다.
사단법인 여천홍범도장군기념사업회는 홍범도 장군 70주기를 추모하며 장군의 생애와 업적이 우리 한민족에게 주는 역사적 교훈을 모 언론에 다음과 같이 요약 소개했다.
첫째, 홍범도 장군은 비천한 광부였고 입에 풀칠을 하기 위해 절을 찾아간 식객승이었고 포수로서 생활을 이어간 하층계급이었다. 그럼에도 조국이 외세에 의하여 침탈당할 때 분연히 일어나 독립을 위하여 헌신했다. 1907년 대한제국의 군대가 일제로부터 강제로 해산되자 즉각 의병투쟁을 전개하였다. 의병투쟁은 후에 만주나 극동 러시아 지역에서 독립군으로 발전하였고 홍범도 장군은 독립군의 지휘관으로 맹활약했다.
둘째, 홍범도 장군은 항상 자기를 낮추었다. 그는 항일투쟁 전선을 앞두고 각 부대들이 서로 작은 이해로 싸워 전투력이 약화되고 있음을 안타깝게 생각하여 스스로 연합한 부대의 사령관 자리를 피하고 그 휘하의 연대장 임무를 맡아 부대를 지휘하였다.
셋째, 홍범도 장군은 뛰어난 전술 능력을 갖추었다. 1920년 중국 길림성 화룡현 봉오동전투에서 적군을 봉오동 골짜기로 유인하여 완전히 퇴로가 차단될