自隋末大乱以来，各地军阀割据林立，他们纷纷建章立制、划分政区，将原本精简的州县又重重细分，遂导致天下政区芜杂繁冗，唐主李渊入定长安后便开始着手整顿破碎的山河，一方面军事镇压，另一方面整顿吏治，吏治方面主要有三大重要举措：
其一：精兵简政
首先随着天下的平定，唐高祖废除了总管府，改设都督府，新的都督府职权较轻，武德九年时又开始进行裁撤，但是因为玄武门之变，裁撤工作还未完毕就逊位了。
其次便开展了大规模的裁撤冗官工作，根据《文献通考》记载：
　初，武德中，天下兵革新定，士不求禄，官不充员。有司移符州县，课人赴调，远方或赐衣续食，犹辞不行。至则授用，无所黜退。不数年，求者浸多，亦颇加简汰。
古人用词讲究精准简省，由“颇”字我们可知，其裁撤官员不在少数。
最后，唐高祖又展开大规模的合并州县工作
根据《旧唐书·地理志》记载：
（一）河东道：
武德三年：省沁州招远县。
　 四年：废西浍州，省朔州常宁县。
　 五年：废卲州亳城县，东会州丰润县。
　 六年：废建州、榆州、太州、北管州。省北管州之汾阳、六度两县；辽州之义兴县；榆州之偃城县。
　　七年：废北恒州，省并州阳直县。
　　九年：废芮州、卲州。省蒲州温泉县；丹州之丹川、盖城两县；岚州之合会、岢岚、太和三县。
河北道：
武德四年废平、西济、北义（武德县）、陟、义、和、温、封、起九州；省毂只、太行、忠义、紫陵、零泉、白起、恒肆、新丰、宜安九县。
　　五年废岩州；省相、莘亭、灵泉三县。
　　六年省棣州。
　　八年废孟州，省集成县
　　九年废宗州、毛州，省夏津、府城、斌强三县。
　（三）淮南道：
武德三年省黄州之木兰县。
　 四年省濠州之徒山县，蕲州之蕲水、罗田两县。
　　七年废射、蓼、亭、仓、巢、澴、应、智、南司九州，及射州之射阳、安乐、新安三县，亭州之阳城县，朝州之开城、扶阳二县，黄州之堡城县。
　　八年废西楚州、严州、南晋州、南罗州，省和州之含山县，南晋州之义丰、长吉、塘阳、新蔡四县。
　　九年省江宁县置扬州，改邗州为扬州。
（四）河南道：
武德四年；废南韩州、北陈州、南榖州、西济州（入河北怀州）；省曹州之普阳县，西济州之卲原、蒸川、郑川、溴阳三县。
　　五年：废叶、寿、东虞、梁、范五州，省濮州之安丘、长城、寿州之寿良共三县。
　　六年：省棣州并入沧州。废颍州之高棠、永乐、永安三县，沂州之兰山、临述、昌乐三县，莱州之曲城、当利、曲台、胶东四县，省潍州之连水、平寿、华池、城都、东阳、寒水、訾亭、潍水、汶阳、胶东、华宛、昌安、都昌、城平十四县，陈州之南顿，仁州之夏丘，济州之美政、孝感、榖城、冀丘、昌城五县，密州之高密、胶西二县，乘州之新河、淄州之长柏、莱芜二县。合计一州三十六县。
　　七年：废舆、道、舒、息四州，省汴州之开封、小黄、新里三县。
　　八年：废乘、潍、牟、登、函、环、邹、涡、盟九州（盟州入河北怀州）。省濮州之昆吾、永定、廪城三县，环州之青山、石城、赣榆三县，海州之龙沮、祝其、曲阳、厚丘、利城五县，青州之乐安、时水、安平、般阳四县，乘州之新河县，潍州之营丘、下密二县，盟州之集成县，潭州之营城县，共二十县。
　 九年：废洧州、涟州。
　　关内道
武德三年废郇州、
四年废含州、南平州及其义门县、盐州之兴宁县，
六年省丰州及其九原县、永丰县，
七年省雍州芷阳县，
八年废云州及其云中、榆林、龙泉三县。
陇右道
武德六年废邽州
八年废文州、伏州等。
这些只是冰山一角。
其二：重建地方学校
隋文帝晚年厌倦繁文缛教，认为学校在精而不在多再加上他的崇佛思想，于是裁撤了大量的除太学外的地方和中央学校，隋炀帝即位后实行开明了文教政策，发布《劝学诏》恢复中央官学，随着隋朝的灭亡，继位的李唐政府实行了一系列促进文教的政策，唐高祖不仅恢复了国子学，还重建了地方学校，但是也随着政变导致其成果记在了下一任皇帝头上
武德七年，诏诸州县及乡并令置学，有明一经以上者，有司试册加阶。
——《文献通考》
其三、革新政风
李渊广开言路，虚怀纳谏，不仅于入京时重用孙伏伽并且接纳其进谏三策，从而大大巩固了李唐在关中的统治，这三策如下：
其一，天子有争臣，虽无道不失天下”
孙伏伽要求李渊能够广开言路，虚怀纳谏，对于这一点，李渊不仅身体力行积极纳谏，而且于武德四年设立谏议大夫一职，负责专门的进谏事宜。
其二，废“百戏散乐”
孙伏伽要求李渊革除奢靡淫乐的政风，对于这一点李渊也实施一系列措施，首先李渊下令遣散栎阳行宫的佳人，同时释放所有宫女，其次李渊派人考以古音，修订雅乐，改革隋朝淫靡的乐风，最后李渊准备“灭佛”，他与武德九年制定了灭佛计划，但因玄武门之变而被迫终止。