세조(世祖) · 성종(成宗)조의 학자로서 학문과 문장에 뛰어나 문명을 떨친 그는 1409년(태종 9) 영동군(永同郡) 용산면(龍山面) 상용리(上龍里) 오얏골에서 김훈(金訓)의 셋째 아들로 태어났다. 자는 문량(文良), 호는 괴애(乖崖) 또는 식우(拭疣), 본관은 영산(永山)이다. 그의 가계는 신라 신무왕(神武王)의 넷째 아들 김익광(金益光)의 후예로 고려 말 전객령(典客令) 김영이(金令貽)가 영동에 낙향하여 살게 되었다. 그의 아들 김길원(金吉元)이 고려 말 홍건적의 난 때 공민왕을 안동으로 호종하여 영산부원군(永山府院君)에 봉해지고 김길원의 아들 김종경(金宗敬)은 의정부 우찬성(議政府右贊成)이 되었으며, 그 아들 김훈은 조선 태종(太宗) 때 보조공신(輔祚功臣)으로 세자사(世子師)가 되었다. 슬하에 네 아들을 두었는데 첫째인 수성(守省)은 세종(世宗) 때 집현전 학사로 있다가 중이 되어 신미(信眉)라 하였고, 불교에 조예가 깊어 세종 · 세조(世祖) 등 불교를 숭상하는 임금을 도와 불경의 국역 · 간행에 공을 세워 문종(文宗) 때 혜각존자(惠覺尊者)라는 호를 받았다. 둘째인 수경(守經)은 성주목사(星州牧使) · 경주부윤(慶州府尹)을 역임하였고, 셋째가 수온이며, 넷째는 수화(守和)로 공조참의(工曹參議)를 역임하였다.

  1438년(세종 20) 진사가 되고 1441년 식년문과에 급제, 교서관(校書館) 정자(正字)로 있을 때 세종의 특명으로 집현전에서 『치평요람(治平要覽)』을 편찬하였다. 1445년(세종 27) 승문원 교리(承文院校理)로서 「의방유취(醫方類聚)』 편찬에 참여하고, 부사직(副司直) 때는 『석가보(釋迦譜)』를 증수했다. 그가 젊었을 때에 매양 남에게서 책을 빌려다가 한 장씩을 뜯어서 소매 속에 넣어두고 다 외우면 버리는 고로 한 줄을 외우면 한 줄이 다 없어졌다. 신숙주(申叔舟)가 국왕 이 주신 「고문선(古文選)」이란 책을 가지고 있었는데 심히 아끼고 소중히 여겨 손에서 놓지를 않았다. 그런데 김수온이 간청하여 빌려간 후 한 달이 넘은 후에 그 집에 가보니 조각조각 뜯어서 벽에 발라 놓았는데 연기에 그을어 잘 보이지도 않음을 보고 신숙주가 그 이유를 불으니 「내가 누워서 외우느라 그리하였다」고 대답하였다 하니, 이는 김수온이 얼마나 힘써 공부하였는가를 말해 주는 실화이기도 하다.

  1446년 발영시(拔英試)에 장원하고 등준시(登俊試)에 다시 급제하여 판중추부사(判中樞府事)에 오르고 1449년 병조정량(兵曹正郞), 1451년(문종 1) 전농시소윤(典農寺小尹)이 되었다가 휴가를 얻어 많은 독서를 마치고 나서 1457년(세조 3) 문과중시에 급제, 첨지중추원사(僉知中樞院事)가 되었다. 성균관사예(成均館司藝)가 되고 이 해 중추원부사(中樞院副使)로 정조부사(正朝副使)가 되어 명(明)나라에 다녀왔다. 1459년 동지중추부사(同知中樞府事)가 되고 한성부윤(漢城府尹) 지중추원사(知中樞院事) 공조판서(工曹判書)를 역임하고, 세조의 총애를 받았다.

  그가 젊은 시절 영천군수(榮川郡守)로 있을 때의 일이다. 국왕의 측근에 있던 어떤 스님이 자신의 세력을 믿고 여러 고을을 시끄럽게 하고 지방의 수령들을 능멸하여 만행을 부리고 있었는데 그 스님이 마침 영천군에 왔다. 그가 스님과 약속하되 「나와 당신이 불교의 이치를 서로 토론하여 지는 사람은 지팡이로 때려도 원망하지 않기로 하자」고 하였더니 스님이 「좋다」고 하므로 그가 불경을 줄줄 외우면서 해박한 지식과 언변으로 몰아세우니 스님은 마침내 답변조차 못하고 그저 머리를 조아렸다. 그는 혀를 끌끌 차며 「늙은 중놈이 불경도 모르면서 어찌 중생의 복리를 빌 수 있는가」하고 지팡이로 몹시 때리니 스님이 아픔을 참지 못하고 도망하여 버렸다 한다.

  한때 세조가 그를 북경에 보내어 우리나라에 없는 불경을 구해오게 하였다. 김수온이 중국에 들어가는 길에 감로사(甘露寺)라는 절에서 유숙하게 되었다. 이 절의 주지스님은 중국에서 유명한 스님으로서 김수온이 조선의 큰 선비라는 말을 듣고 미리 붓과 연적과 아계지라는 좋은 종이를 준비하여 두었다. 그가 문안에 들어서서 벽에 묵화로 그린 매화를 보고 그 기둥에다 「조계종에는 황매선사, 감로사는 혹매, 만약 빛깔을 가지고 본다면 반야는 아니로구나」라고 쓰니, 주지스님이 과연 큰 학자로구나 하고 내심 놀라며 뜰 아래에 내려가 머리를 조아리고 성대한 잔치를 베풀어 대접하였다 한다.

  1471년(成宗 2) 좌리공신(佐理功臣) 4등에 책록되어 영산부원군에 봉해졌으며 1474년(성종 5) 영중추부사(領中樞府事)에 올랐다. 학문과 문장에 뛰어나 서거정(徐居正), 강회맹(姜希孟) 등과 문명을 다투었으며 4서 5경의 구결을 정하고 『명황계감(明皇誠鑑)』을 국역하는 등 국어발전에 힘썼다. 그는 경학과 노장사상 그리고 불교에까지도 정통하였으며 문장도 또한 뛰어났다. 그는 특히 형인 혜각존자 신미가 불가에 귀의하여 스님이 되자 형으로부터 영향을 다소 받은 바도 있겠으나 그 자신이 유학자이면서 불교에 깊은 관심을 가져서 불경에 밝았다. 세종 · 세조 때의 승불에 왕실과 인연을 가지고 조선 초기 불교 발전에도 큰 공헌을 하였으며, 세조 때 법화경 · 화엄경이 유교보다 훨씬 심오하다는 것을 자주 말했고 찬불가 시를 많이 지었다.

  그의 저서로 「식우집」이 있는데 김수온이 목에 혹이 나서 글을 지으려면 반드시 손으로 혹을 만졌기 때문에 지어진 이름이다. 그의 문집에는 『사리영응기』(舍利靈應記) 『묘적사중창기』(妙寂寺重創記) 『회암사중창기』(庵寺重創記) 『도성암기』(道成庵記) 『보은사중창사액기』(報恩寺重創賜額記) 『중은암기』(中隱庵記) 『상원사중창기』(上院寺重創記) 『원통암정인사중창 기』(圓通産正因寺重創記) 『수다사상전기』(水多寺相傳記) 『봉선사기』(奉先寺記) 『원각국사비명』(圓覺國寺碑銘) 『낙산사범종명』(洛山寺梵鐘銘) 『몽유도원도제문』(夢遊桃源圖題文) 『인성대장경발문』(印成大藏經跋文) 등의 기록이 남아 있고, 친필로 된 『복천사사적』(福泉寺事蹟)은 후손 김동표(金東杓)씨가 소장하고 있다. 불후의 명작 월인천강지곡(月印千江之曲)을 왕명에 의해 창작하여 국문학 발전에 공헌한 바 큰데 500여 장의 장장국문시문(長長國文詩文)이다.

  성종 12년에 73세로 죽으니 성종은 문평(文平)이라는 시호와 부조묘(不桃廟)를 내렸다. 그를 제사하는 부조묘는 보은읍(報恩邑) 지산리(芝山里) 선학동(仙鶴洞)에 있는데 이는 종곡(鍾谷)에 있던 것을 현종 5년에 송시열(宋時烈)이 옮겨 세운 것이다. 묘소는 용산면(龍山面) 한곡리(閔谷里)에 있고 석물이 갖추어져 있으며 충북도 지방기념물 제76호로 지정되어 보호하고 있다. (『世宗實錄』『世祖實錄』『成宗實錄』『國朝人物考』『李朝名人列傳』『永同郡誌』『내고장 전통가꾸기』『人物志』『永同鄕校誌』)