조선 중기의 문신(文臣)․유학자(儒學者)로 본관은 경주(慶州), 자는 원충(元沖), 호는 충암(沖菴)․고봉(孤峯)이며, 시호는 문정(文貞)이었다가 나중에 문간(文簡)으로 고쳐졌다. 판도판서(版圖判書) 김장유(金將有)의 6세손이며, 증조는 평택현감(平澤縣監)을 지낸 김호(金滸), 할아버지는 병조참판(兵曹參判)에 증직된 김처용(金處庸), 아버지는 이조판서(吏曹判書)에 증직된 김효정(金孝貞)이다. 어머니는 김해허씨(金海許氏)로 판관 허윤공의 딸이며 보은읍 성족리에서 출생하였다. 그가 태어날 당시 아버지는 큰 별이 품속으로 떨어지는 꿈을 꾸고, 어머니는 백룡이 큰 바다에서 솟구쳐 침실로 날아들어 여의주를 품속에 바치는 꿈을 꾸었다고 한다.

그는 태어나면서부터 남달리 총명하였고 용모가 뛰어나 3세 때 경사(經史)에 두루 능통하였던 할머니 황씨부인에게 글을 배우기 시작하여 6세 때에 벌써 시(詩)를 지었다고 한다. 10세 이전에 이미 사서이경(四書二經)에 통달하고 문장은 읽지 않는 책이 없을 정도로 문리(文理)가 통하여 나이 많은 선비들도 능히 그를 따를 사람이 없었다고 한다.

14세에는 별시초시(別試初試)에 응시하였는데 당시 공교롭게도 사촌형인 김황(金黃)이 고관으로 나오자 밖으로 나가 버렸다가 다른 고관에게서 문제를 받아 시험을 치러 장원으로 급제하였다고 한다. 15세에 부친상을 당하여 17세에 기복할 때까지 집상(執喪)을 모두 예제(禮制)에 따르고, 3년 동안 죽만 먹으며 자식 된 도리를 다하였다.

18세에 진사 송여익(宋汝翼)의 딸과 결혼하고, 1504년(연산군 10) 19세에 생원에 급제하였다. 1507년(중종 2) 22세에 증광시(增廣試)에 갑과(甲科) 장원으로 급제하여 성균관 전적(典籍)에 제수되어 관직 생활을 시작하였다. 이후 사간원 정언(正言), 홍문관 수찬(修撰), 병조좌랑(兵曹佐郞) 등에 임명되었으며, 이듬해 문신정시(文臣庭試)에서 다시 장원함으로 승진하여 병조정랑(兵曹正郞), 홍문관 부교리(副校理)에 임명되었다. 1509년(중종 4)에는 홍문관 교리(校理)로 승진하고, 사헌부 헌납에 제수되었다. 1510년에는 어머니 봉양을 위하여 귀양(歸養)을 간청하는 소(蔬)를 올려 충청도도사(忠淸道都事)에 제수하기도 하였다.

1512년(중종 7)에 홍문관 교리, 이조정랑(吏曹正郞)에 제수되었으며, 이듬해 호당에 뽑혀 사가독서(賜暇讀書)를 허락받았다. 이 기간에 담양부사 박상(朴祥), 소세양(蘇世讓) 등과 교유하였다. 1514년(중종 9) 봉사시 첨정에 제수되었으나 다시 외직을 청하여 순창군수(淳昌郡守)로 나아갔다. 이듬해 7월에 담양부사 박상과 함께 폐비(廢妃) 신씨(愼氏)의 복위를 청하는 상소를 올렸다가 그해 8월 보은 함림역(含琳驛)에 유배되었다. 이후 조광조 등의 간언(諫言)으로 1516년 3월에 유배에서 풀려났다. 이후 여러 차례 관직에 제수되었으나 모두 나가지 않고, 속리산 도솔암(兜率庵)에 들어가 학문에 힘쓰며, 금강산을 유람하기도 하였다. 또한 김봉상(金鳳祥), 김고(金顧)와 종질(從姪)인 김천부(金天富)․김천우(金天宇) 등을 가르쳤다.

1517년(중종 12) 부제학으로 부름을 받았으나 거절하다가 조광조의 권면과 중종의 계속되는 소명(召命)으로 부득이 출사하여 동부승지․좌승지․이조참판․도승지․대사헌 등을 거쳐 형조판서에 임명되었다. 이러한 그의 정치적 성장은 괄목할 정도였는데, 그것은 당시 사림파의 급속한 성장과 긴밀한 관계를 지닌 것이었다.

1519년 기묘사화가 일어나 극형에 처해지게 되었으나, 영의정 정광필(鄭光弼) 등의 옹호로 금산(錦山)에 유배되었다가, 진도를 거쳐 다시 제주도로 옮겨졌다. 유배 생활 중 『제주풍토록(濟州風土錄)』을 저술하기도 하였다. 이후 또다시 신사무옥에 연루되어 사림파의 주축인 생존자 6인과 함께 다시 중죄에 처해져 1521년(중종 16) 10월 15일 자진(自盡)하라는 어명이 내려지자 형제들에게 편지를 써서 노모의 봉양을 부탁하고 ｢절명사(絶命辭)｣를 지은 뒤 조용히 자진하였다. 이때 그의 나이 36세였다. 김정이 지은 ｢절명사｣는 다음과 같다.

投絶國兮作孤魂 멀리 떨어진 곳에 던져져 외로운 혼이 되어

遺慈母兮隔天倫 어머니 살아계심에 천륜을 어기는구나.

遭斯世兮隕余身 이런 세상을 만나 내 한 몸 죽고마니

乘雲氣兮歷帝閽 구름을 타고 올라 상제를 찾아볼까.

從屈原兮高逍遙 굴원을 따라가서 높이 거닐어 보려하니

長夜暝兮何時朝 긴 밤 어두워라 어느 때나 밝으려나.

烱丹衷兮埋草菜 붉은 마음 빛났건만 풀 속에 묻히고

堂堂壯志兮中道摧 당당하고 웅대한 뜻이 중도에서 꺾였다네.

嗚呼 아아!

千秋萬世兮應我哀 천추만세에 응당 나를 슬퍼하리.

그의 시신은 형 김광과 조카 김천우가 제주에서 수습하여 왔으며, 1522년 겨울 아우인 김이(金易)와 아들 김철보(金哲葆)가 운구하여 청주(淸州) 주애현(朱崖縣) 탑산리(塔山里)에 장사지냈다. 이후 1545년(인종 1) 복관되었고, 1646년(인조 24) 영의정에 추증되었다.

충암 김정은 조광조와 함께 중종 조 지치주의를 표방한 왕도정치를 실현하고자 했던 인물이며, 이를 위해 현량과(賢良科)의 설치를 적극 주장하고, 미신 타파와 향약의 실시, 정국공신의 위훈삭제(僞勳削除) 등의 개혁을 추진하였다. 또한 보은에서 태어난 보은에서 공부하고, 성리학이 수용되어 조선에 정착되는 과정에서 자신의 학문을 현실에 실현시키고자 한 인물이었다.

그는 보은의 상현서원(象賢書院), 청주의 신항서원(莘巷書院), 제주의 귤림서원(橘林書院), 금산의 성곡서원(星谷書院) 등에 제향 되어 있으며, 저서로는 '충암집'이 있다.

묘소는 처음 대전광역시 동구 내탑리에 있었으나 대청댐으로 수몰되어 신하동 168-5번지로 이장되어 대전광역시 문화재자료 제25호로 지정되었다. 그가 태어나고 자란 보은읍 성족리에는 유허비가 남아있다.