太学是汉代出现的设在京师的全国最高教育机构。西汉早期，黄老之学盛行，只有私家教学，没有出现传授学术的学校。汉武帝罢黜百家定儒一尊之后，采纳董仲舒的建议，始在长安建立太学。最初太学中只设五经博士，置博士弟子五十名。从武帝到新莽，太学中科目及人数逐渐加多，开设了讲解《易经》、《诗经》、《尚书》、《礼记》、《公羊传》、《谷梁传》、《左传》、《周官》、《尔雅》等的课程。汉元帝时博士弟子达千人，汉成帝时增至三千人。王莽秉政，为了树立自己的声望，并笼络广大的儒生，在长安城南兴建辟雍、明堂，又为学者筑舍万区。博士弟子达一万余人，太学规模之大，实前所未有。武帝到王莽，还岁课博士弟子，入选的可补官。
东汉建武五年(公元29)，汉光武帝刘秀在洛阳城东南的开阳门外兴建太学。后来汉明帝刘庄还到太学行礼讲经。汉顺帝永建元年(126)，对太学进行了重修和扩建，费一年时间，用工徒十一万二千人，建成两百四十房，一千八百五十室。所招学生称之为太学生。其后，太学生人数多至三万人。汉灵帝熹平四年(175)，为了刊正经书文字，刻成有名的熹平石经，树立于太学门外，全国各地来观看和抄录经文者，络绎于途。两汉时太学在培养人才和促进文化发展等方面都起到一定的作用。但随着政治的腐败，太学生开始参与政治。西汉哀帝时，博士弟子王咸曾聚集太学生千余，以图解救执法不阿的司隶校尉鲍宣。东汉晚期陈蕃、李膺等人反对宦官的黑暗统治，得到太学生的支持和响应，于是太学生也成为宦官打击的对象(见党锢)，不少与党人有牵连的人遭到禁锢。熹平元年，太学生被宦官逮捕和囚禁的达一千余人。
魏文帝曹丕黄初中恢复了洛阳的太学，有博士十九人。太学生在魏明帝时增至千余。时依汉制设五经策试之法，通过考试的可补掌故、太子舍人、郎中等。西晋武帝时太学生三千人(一说七千余人)，依《晋令》规定，试经及格者可拜郎中。西晋时教育体制的重大变化，是为五品以上官僚子弟专设了国子学，形成了贵族与下层士人分途教育，国子学、太学并立的双轨制。东晋学校教育相当衰微，南朝则有所复兴，国子生多为士族高官子弟，称之“国胄”或“世胄”，可以经明经策试入仕，而太学则往往仅存博士而无生员。
十六国时期，一些少数族政权亦曾设立太学以及四门学、郡国学、律学，生员身份有所限定，一般限公卿大臣子弟充当。然各政权兴废不定，学校也时设时罢。至北魏道武帝，设立学校，称国子太学。后又别立太学。国子学一度改称中书学，后又改回。郡学也称太学。孝文帝、宣武帝时，又增设了四门小学，形成了国子学、太学、四门小学三学并立之制。南北朝后期至隋，又逐渐形成了律学(习法令)、书学(习文字)、算学(习计数)三学。
唐代国子监，有国子学、太学、四门学、律学、书学、算学。学校的差别，与学生资荫(即父祖官爵)身份有关。国子学、太学、四门学分别面向三品、五品、七品以上官僚子弟，律学、书学、算学则面向八品以下子弟及庶人。此外，国子生、太学生、四门生学习儒家经典，律学、书学、算学学生则学习专门技术。国子学生员三百人，太学五百人，四门学一千三百人，律学五十人，书学、算学三十人。入学年龄为十四岁至十九岁，律学则为十八岁至二十五岁。高宗龙朔二年(662)，又在东都洛阳设立了一个国子监，与长安国子监合称“两监”。
国子监长官为国子祭酒，主持政务。下设司业为副，及丞(掌判监事)、主簿(掌印)、录事。诸学有博士、助教、典学、直讲等学官，掌教学。国子生、太学生、四门生入学后，要根据将来考进士科还是考明经而分科学习。所习儒家经典分为大中小三种，《礼记》、《左传》为大经，《诗经》、《周礼》、《仪礼》为中经，《易经》、《尚书》、《公羊传》、《谷梁传》为小经。通三经者，大、中、小经各一；通五经者，大经皆通，余经各一；《孝经》、《论语》则都要掌握。这与进士、明经科的考试要求，基本一致。学校每岁向礼部荐送参加科举考试者。如学业不佳而多年不堪荐送，或荐送后屡年落第，则往往要被学校解退除名。
唐代前期，进士及第而享文名者，大多由两监生徒出身。主考官在取舍中，也有意偏重生徒。时进士不由两监出身，则深以为耻。唐玄宗李隆基曾下令，天下举人皆补学校。但安史之乱后，由于政治混乱及财政困难，学校由盛入衰，生员不及旧日三、四分之一，太学、四门学的入学资格只好降低，生徒在应科举者中的比例亦大为减少。
宋代太学仍为最高学府，隶国子监。宋初仅设国子监，学生名额甚少，且只收七品以上官员子弟。宋仁宗庆历四年(1044)，范仲淹推行新政(见庆历新政)，始以东京开封锡庆院兴办大学，招收内舍生两百人，采用胡瑗的湖学法制订“太学令”。宋神宗赵顼时，扩建太学，增加学生名额达两千四百人，设八十斋，并重订太学条制，推行三舍法。宋徽宗赵佶时，兴建辟雍作为外学，太学(包括辟雍)共招生三千八百人，同时废除科举，人材皆由学校选拔，太学达到极盛时期。南宋绍兴十二年(1142)，在临安府重建太学，至宋末学生达一千七百多人。
宋代太学形成一套比较完整的学制。太学生从八品以下官员子弟和平民的优秀子弟中招收。庆历间(1041～1048)，内舍生由太学供给饮食。宋神宗熙宁五年(1072)起，外舍生亦由太学给食。南宋时，外舍生入学，须纳“斋用钱”，方能在官厨就餐；贫者减半纳；内舍生和各斋长、斋谕免纳。学生各习一经，随所属学官讲授。学生分成三等，即上舍、内舍、外舍。考核学生成绩和学生升等的制度，称“三舍法”，规定新生入外舍习读，经公试、私试合格，参考平日行艺，升补内舍。内舍生两年考试一次，考试成绩和当年公、私试分数校定皆达优等，为上等上舍生，即释褐授官；一优一平为中等上舍生，准予免礼部试；两平或一优一否为下等上舍生，准予免解试。上舍生不再参加公试。私试每月一次，由学官出题自考学生；公试每年一次，由朝廷降敕差官主持。学生分斋学习，每斋三十人，屋五间、炉亭一间为全斋阅览和会议处，设斋长、斋谕各一人，负责督促和检查学生的行艺。宋代学官与唐略同，然无助教、直讲，又增学正、学录、监书库、监厨官等。职员称学职或职事人，有前廊学录、学谕、直学等，大多由上舍生或内舍生担任，每月有俸钱。工人称斋仆、贴斋等，亦领“月给钱”。
宋代太学为统治者培养出大批官员和学者。随着理学的逐渐形成和政治斗争波澜起伏，太学还成为传播理学和各派政治力量竞争角逐的场所。一些太学生如陈东等人，曾上书言事，推动了抗金斗争。宋代太学制给后代以很大影响(见国子监)。