武德中，公与侍中陈叔达、中书令萧瑀、左仆射封德彝、太子詹事裴矩等，同奉诏分修魏、梁、陈、周、齐、隋六代史。侍中以下，各居权要，既不相统摄，撰者无所禀承，事历数年，竟无次序。
贞观初，公为秘书监，乃奏停后魏而修梁以下五代。奉敕遣秘书丞令狐德棻、秘书郎岑文本撰周史，前中书侍郎颜师古、给事中孔颖达撰隋史，著作郎姚思廉撰梁陈史，中书舍人李百药撰齐史。师古徙职，以许敬宗代之。
公受诏总加修撰，裁定去取，咸资笔削，多所损益，务在简正。隋史序论皆出公手，梁陈及齐各为总论。《梁史》六秩五十六卷，《陈史》四秩三十六卷，《周史》五秩五十卷，《齐史》五秩五十卷，《隋史》六秩五十五卷，奏之，时称“良史”。加左光禄大夫，进封郑国公，赐物二千段。