1939년 청주에서 태어났다. 청주고등학교와 서라벌예술대학 문예창작과를 거쳐 1963년 동국대 국문과, 1984년 국민대학교 대학원 국문과를 졸업했다. 1959년 <자유신문> 신춘문예에 단편 「외로운 사람」이, 1961년 <조선일보> 신춘문예에 단편 「이단 부흥(異端復興)」이 당선되었다. <충청일보> 및 <여상(女像)>의 기자로 있으면서 작품활동을 본격적으로 시작했다. 1967년부터 <신구문화사> 편집부에 근무하였고, 이후 추계예술대학교, 한성대학교, 국민대학교에 출강하였다. 1991년부터 한양여자대학 문예창작과 교수로 있으면서 한국문인협회 소설분과 이사, 국제펜클럽 한국본부 회원으로도 활동하였다. 주요 작품으로 성(性) 문제를 통해 윤리 의식과 사회적 갈등을 다룬 중편소설 「증묘(蒸猫)」(1971), 한국인의 출세 욕망과 그에 맞서는 청빈사상을 풍자적으로 그린 단편소설 「만취당기(晩翠堂記)」(1989), 오영수문학상 수상작인 「파문을 키운 모래 한 알」(1993), 고뇌하는 지성인의 올곧은 삶을 그린 「가지 않은 길」(1999) 등이 있다. 이 외에 『육아』, 『서러운 꽃』, 『어둠 저쪽의 빛』, 『그 세월의 뒤』, 『가출』, 『우리 설화』, 『민아네 집』, 『쉬는물머리의 물총고기』 등 다수의 작품을 집필했다. 충북문학상(1972), 현대문학상(1975), 한국창작문학상(1978), 한국문학작가상(1986), 조연현문학상(1987), 동인문학상(1989), 오영수문학상(1997), 대한민국문화예술상(1999) 등을 수상했다. 김문수 소설가의 작품은 물질주의의 발달에 따라 사라져 가는 우리 사회의 윤리, 풍속, 양심 등에 대하여 연민을 가지고 주변에서 흔히 접할 수 있는 타락한 일들에 대하여 예리하게 풍자하고 있다. 서민작가라는 별칭이 따라다닐 정도로 그의 작품에는 서민들이 주인공으로 등장하는 경우가 많은데, 현대 사회 속에서 샤머니즘적 세계관의 갈등과 도시 서민들의 삶의 의식과 고뇌를 주로 다루고 있다. 『한국소설사』(김윤식?정호웅 공저)에서는 소설사 기술의 허점 때문에 지금까지의 논의에서는 빠졌지만 우리 소설사를 빛낸 중요한 작가들이 많다면서 별도의 장을 할애하여 김문수 소설가를 소개하고 있다. 2012년 숙환으로 별세했다.