张九龄画像开元十七年（729年），张说又被玄宗拜任尚书左丞相、集贤院学士。开元十八年，一病不起，终于病逝。他多次推荐张九龄做集贤院学士。开元十八年（730年），张九龄转任桂州（治所今广西桂林）刺史、岭南道按察使、御史中丞。便道归省，与家人欢聚。开元十九年春，他从桂林乘船顺流巡行按察来到广州。三度入京谏官本色开元十九年（731年）三月，张九龄被召入京，擢秘书少监，兼集贤院学士副知院事。他奉旨代撰敕文，对御而作，不须草稿，援笔立成，深为玄宗倚重。在他的文集中，代皇帝起草的敕文多达114篇。两次升任他为中书侍郎。开元二十年二月转为工部侍郎，兼集贤院学士。九龄以老母不欲从之任所为由，表请罢官。翌年三月，改任洪州（治所今江西南昌）都督。在洪州任上，写了《在郡怀秋》诗二首，表达了时不能用、忧郁思归的心情，其一为：秋风入前林，萧瑟鸣高枝。寂寞游子思，寤叹何人知。臣成名不立，志存岁已驰。五十而无闻，古人深所疵。平生去外饰，直道如不羁。未得操割效，忽复寒暑移。物情自古然，身退毁亦随。悠悠沧江渚，望望白云涯。路下霜且降，泽中草离披。兰艾若不分，安用馨香为。终没有听从。等到制度出台时，朝廷内外的人对张说有很多指责。当时，御史中丞宇文融刚掌管田户租税的事情，每次向皇帝陈奏，张说多建议皇帝不要听从他，宇文融也因此对张说不满，张九龄劝张说对宇文融要有所防备，张说又不听从他的话。没过多久，张说果真被宇文融弹劾，罢掉了知政事的官职，张九龄也改为太常少卿，不久调出京师担任冀州代理刺史。后改授洪州（南昌）都督，不久又转授桂州都督，充岭南按察使。开元十四年（726年）四月，宇文融和李林甫等人弹劾张说，张说被罢相，张九龄也受牵连，张九龄改任太常少卿。六月，奉命祭南岳及南海，就便归省。是年秋张九龄回京，仍被指为亲附张说，调任外官，出为冀州刺史。张如果颠倒了顺序，指责和批评就会产生。现在登山封禅，广施恩泽，这是千年—遇的大事。有名望和品德高尚的人，不能蒙受恩泽，官府中办理文书的小吏末流却先被加官晋爵，（我）只是担心制度出台之后，天下各地的人会感到失望。现在制订草表的时候，事情还可以更改，只是希望您仔细研究谋划这件事，不要留下悔恨。”张说说：“事情已经定下来，荒唐无据的议论，哪里值得担心呢？”最八月，兼知制诰。张九龄时已55岁，屡乞归养。玄宗对他加以重用，并不批准，只是把他弟弟张九皋、张九章就近家乡封官，以便照顾老母。张九皋后官至广州都督兼五府节度经略使，张九章后官至岭南节度使、广州都督，都是统治岭南的封疆大吏。开元二十一年（733年）五月，张九龄升任检校中书侍郎，十二月，授中书侍郎同中书门下平章事（宰相）兼修国史。主理朝政。他建议于河南屯田，引水种稻，遂兼河南稻田使。当时范阳节度使张守珪因为副将安禄山讨伐奚、契丹失败，捉拿护送他到京城，请求按照朝廷典章执行（死刑）。张九龄奏明皇上说：“张守珪的军令一定要执行，安禄山不应该免除死罪。”皇上特别赦免了他。张九龄上奏说：“安禄山狼子野心，面有谋反之相，请求皇上根据他的罪行杀掉他，希望断绝后患。”皇上说：“你不要因为王夷甫了解石勒这个旧例，误害了忠诚善良的人。”于是放安禄山回到藩地。九龄为中书令时，天长节百僚上寿，多献珍异，唯九龄进《金镜录》五卷，言前古兴废之道，上赏异之。又与中书侍郎严挺之、尚书左丞袁仁敬、右庶子梁升卿、御史中丞卢怡结交友善。挺之等有才干，而交道终始不渝，甚为当时之所称。开元二十二年五月，张九龄迁升中书令集贤院学士知院事修国史。
《江苏扬州张氏族谱》里的张九龄画像开元二十三年，加封为金紫光禄大夫，累官封他为始兴县伯（食邑四百户）。李林甫自己不学无术，因为张九龄的品行被皇帝赏识，心里非常妒忌他。于是推荐牛仙客担任知政事（“掌管政事”），张九龄多次说不行，皇上不高兴。唐玄宗被李林甫的谗言所惑，玄宗遂于开元二十四年迁九龄为尚书右丞相，免去了知政事。后来宰相每次推荐公卿时，皇上一定会问：“节操、品质、度量能够像张九龄吗？”旧例，（士大夫）者要把笏板插在腰带上，然后乘马，张九龄体弱，常派人拿着笏板，（朝廷）于是设立了笏囊。笏囊的设立，从张九龄开始。罢相后，再因他荐举的监察御史周子谅弹劾牛仙客，触怒玄宗，坐“举非其人”，贬为荆州长史。其时，唐朝处在全盛时期，但却又隐伏着种种社会危机。张九龄针对社会弊端，提出以“王道”替代“霸道”的从政之道，强调保民育人，反对穷兵黩武；主张省刑罚，薄征徭，扶持农桑；坚持革新吏治，选贤择能，以德才兼备之士任为地方官吏。他的施政方针，缓解了社会矛盾，对巩固中央集权，维护“开元盛世”起了重要的作用，因而被后世誉为“开元之世清贞任宰相”的三杰之一。在主理朝政时敢于直言向皇帝进谏，多次规劝玄宗居安思危，整顿朝纲。玄宗的宠妃武惠妃，欲谋废太子李瑛而立己子时，命宫中官奴游说九龄，九龄叱退使者，及时据理力争，从而平息了宫廷内乱，稳定了政局。而对安禄山、李林甫等奸佞所为，张九龄更痛斥其非，并竭力挫败其阴谋。开元二十四年（736年），安禄山任平卢将军，在讨伐契丹时失利，张守珪奏请朝廷斩首。之前，安禄山曾入京朝见，拜见过时任宰相的张九龄。张九龄颇有识人之道，明察秋毫，看出安禄山是奸诈之徒，断定日后此人必会作乱。宰相张九龄对侍中裴光庭说：“乱幽州者，必此胡也。”此次适逢安禄山干犯军法，被押送京城，奏请朝廷判决。张九龄毫不犹豫在奏文上批示，为严肃军纪，将安禄山斩首，奏文说：“穰苴出军，必斩庄贾；孙武行令，亦斩宫嫔。守珪军令若行，禄山不宜免死。”唐玄宗不明华夷之辨，看了批文后说：“卿岂以王夷甫识石勒，便臆断禄山难制耶？”唐玄宗没有最终批准，却为示皇恩，将安禄山释放。最终安禄山反叛，重演了西晋末年，羯族石勒反晋乱华的一幕。开元二十四年八月五日千秋节（玄宗生日），张九龄送《千秋金鉴录》作贺仪，劝皇帝励精图治。当初，张九龄担任宰相，举荐长安尉周子谅担任监察御史。开元二十五年（737年），周子谅因为胡乱讲吉凶，皇上亲自加以质问，命令在朝堂上判决杀掉他。张九龄因犯了举荐不称职的罪，降职担任荆州大都督府长史。开元二十七年，张九龄被封为始兴开国伯，食邑五百户。