조선 중기의 유학자로 본관은 경주, 자는 희실(希實), 호는 장암(壯菴)이다. 판도판서 김장유(金將有)의 6세손이며, 할아버지는 김처용(金處庸), 아버지는 호조정랑 김효정(金孝貞), 어머니는 김해허씨(金海許氏)로 판관(判官) 허윤공(許尹恭)의 딸이다. 부인은 청주한씨(淸州韓氏)로 한석륜(韓碩倫)의 딸이다. 충암 김정의 형이며 보은읍 성족리에서 출생하였다.

어려서부터 총명하여 말을 배우기 시작하며 글자를 알아 놀 때에 사양하는 예를 알았으며 나이 8세에 경서와 사기를 할머니 옥천황씨로부터 익혔다. 또한 13세 때 속리산 도솔암(兜率庵)에 들어가 ‘삼성사물(三省四勿)’을 책상 앞에 크게 써놓고 스스로 경계하며 성현의 글을 읽었다고 한다. 19세에 아버지 상을 당하여서는 상복을 벗을 때까지 예에 어긋남이 없었다고 한다.

1507년(중종 2) 증광시에서 생원에 1등으로 급제하였고, 반정공신인 박원종(朴元宗) 등이 왕을 위협하여 국모인 신비(愼妃)를 폐위할 때 의(義)가 아니라고 이를 배척하는 뜻을 시로 표현하기도 하였다. 뒤에 창릉참봉(昌陵參奉)에 임명되었으나 취임하지 않았다.

1519년(중종14) 기묘사화가 일어나 동생 김정이 화를 당하는 것을 보고 속리산 서쪽 장암동에 숨어 살면서 학문에 전념하다가 김정이 1521년 제주에서 죽자 조카 김천우(金天宇)와 함께 제주로 가서 아우의 시체를 안고 돌아왔다. 이후 조정에서 여러 차례 불렀으나 나아가지 않고, 가난한 집안 사정에도 불구하고 자손들을 가르치며 어머니를 지성으로 봉양하며 일생을 보내다가 어머니 상을 마친 후 64세의 나이로 세상을 떠났다.

저서로 '장암집(壯庵集)'이 있었으나 병화(病禍)로 소실되어 전하지 않으며, 묘소는 수한면 동정리에 있다.