김구는 당시 신교육을 이끌고 있던 기독교에 입교하여 본격적인 교육계몽운동에 나섰다. 김구는 최광옥(崔光玉) 등과 교류하며 황해도 일대에서 장연(長連)에 봉양학교(鳳陽學校), 광진학교(廣進學校), 종산(鍾山) 서명의숙(西明義塾)과 안악(安岳)의 양산학교(楊山學校) 교사로, 1909년에는 재령(載寧)의 보강학교(保强學校) 교장으로 활동하며 학생들을 가르쳤다. 1908년에는 해서교육총회의 학무총감에 선임되었으며, 황해도 지역을 돌며 순회 강연회와 환등회를 개최하였다.
1905년 을사늑약이 강제로 체결되자, 진남포 엡윗청년회(Epworth 靑年會) 총무로 서울 상동교회에서 열린 전국대회에 참가하여 이동녕(李東寧)·전덕기(全德基)·이준(李寯) 등과 을사늑약의 파기를 청원하는 상소와 반대시위 집회를 주도하였다.

이후 김구는 구국운동기 대표적인 항일민족단체인 신민회에 참여하여 활동하였다. 신민회는 1907년 4월 안창호의 발의로 결성된 비밀결사로 국내에서 다양한 구국계몽운동을 펼치는 한편 국외에 독립운동 기지를 건설하고 독립군을 양성하는데 목적이 있었다. 김구는 1910년 11월 서울 양기탁(梁起鐸)의 집에서 열린 국외 독립운동 기지 건설을 위한 비밀회합에 황해도지역 자금모금 책임자로 참여하였다. 이 회의에서는 일찍이 간도지역을 순회하면서 취득한 김구의 정보를 바탕으로 국외 독립운동 기지 건설을 위한 후보지역을 선정하고. 이동녕(李東寧)·이회영(李會營)을 선발대로 파견하였다. 김구는 신민회의 결정에 따라 군자금 모금임무를 띠고 활동하던 증, 1911년 '안악사건(安岳事件)'과'양기탁보안법사건(梁起鐸保安法事件)'으로 4년 8개월간의 옥고를 치렀다.