20歲時,張遂到京都長安拜師求學。長安元都觀有位博學多聞的道士尹崇,張遂經常去拜謁尹崇,向他借書看。有一次張遂借了一部東漢楊雄寫的《太玄經》,這是一部晦澀難懂的哲學著作,講了許多自然科學知識。過了幾天,張遂便把書還給了尹崇。尹崇以為張遂是覺得這部書太深奧,失去了興趣,便來還書。當張遂拿著自己寫的讀書筆記向他請教時,尹崇看後大吃一驚,因為尹崇對這本書已研究多年,卻沒有搞明白,而張遂已經看懂了書中的道理。從此,張遂在長安名聲大振。
武則天登基後,其侄武三思被封為梁王,官居尚書。武三思頗愛沽名釣譽,到處拉攏文人名士來抬高自己的身價。武三思指名要與張遂結交,張遂秉性正直,不屑與之為伍,就假托有病,閉門不見。時間長了,武三思多方設法拉攏,張遂無計可施,便產生了遁世出家的打算。公元705年,他入嵩山崇陽寺(河南省登封縣)削髮為僧,改名敬賢,法號「一行法師」,在嵩山跟隨普寂師父修習。從此張遂的名字,漸漸埋沒。後世人只知一行,不知張遂。
出家之後,一行除了研究佛學外,又研究天文、曆算。並且周遊各地。到了天台山國清寺(即今浙江省天台縣)修行多年,直到睿宗景雲二年(西元711年)才回到嵩山崇陽寺,就在那一年,朝廷派員到嵩山徵召一行出山為國服務,他托病謝辭,後來又作第二次出遊,到了荊州當陽縣玉泉山(今湖北省當陽縣),就在那裏研究佛學及其他學識不再回嵩山了。
在佛教受到朝廷高度重視的唐朝,想在嵩山出家躲避紅塵,對於才名出眾的一行來說很不現實。朝廷多次有意吸納多才多藝的一行入朝參政,但視功名利祿為累贅的一行婉辭不受。
唐玄宗開元五年(西元717年)一行被族親推薦回到長安。皇帝立即召見,安排在光太殿居住。不久讓他在華嚴寺和印度來華的僧侶,翻譯多部佛經,傳導密宗的教義。皇帝時常召見,垂詢安國撫民之道。深得玄宗信任。
中國古代農耕與歷像、節氣關係密切,因此歷代帝王無不重視天文。自唐玄宗開元九(西元721年)開始,一行奉旨改革曆法工作,從實測天文著手。可是那時太史監所存天文儀器,都已破舊,不堪使用,只好重新計劃製造。就在皇宮麗正殿當作工場,製造黃道遊儀的最初模型,然後奏請皇帝用銅鐵鑄造。於開元十二年(西元724年)製造成功。第二年製造水運渾儀的結構,再用銅鑄造成功。該儀結構複雜,而且奇巧,可以反映日、月、五星運行規律的渾天儀。又是一個自動計時器,利用水力推動,每時辰自動擊鼓,每一刻自動撞鐘。可以說是全世界最早的第一台天文時鐘。
一行發動大規模觀測隊,先於開元十二年(西元724年)召集測量人員於麗正殿書院議事,分配工作,校正尺度,取黃河之南北平原為中心,曾在陽城建立一座八尺日規,並立一個石表(即石柱)上刻周公測景台。
製造天文儀器,進行大規模觀測之後,一行於開元十二年開始編寫新曆法,儘量參考從前曆法優點,從上古六曆,漢代太初曆,甚至唐朝麟德曆,又經四年長時間過濾,才告成功,名為《大衍曆》。《大衍曆》共有52卷之巨,結構嚴謹,條理分明。
公元728年,《大衍曆》頒行天下後,風靡一時,深受歡迎。《大衍曆》比著名數學家祖沖之等前人編撰的曆法,都要準確得多,還對日本、印度的曆法產生過重大影響。《大衍曆》頒定不久後傳入日本,公元763年,日本淳仁天皇詔令廢除日本的《儀風曆》,改用中國的《大衍曆》。自公元727年《大衍曆》問世以後,直到明朝末年採用西方曆法的近900年時間裏,每次修訂曆法都是以《大衍曆》為基礎,可見其影響之深遠。300年後,北宋著名科學家沈括對《大衍曆》還十分推崇,他說:「開元《大衍曆》最為精密,歷代用其朔法。」
一行創造了世界天文學史上的三個第一:首次測量地球子午線長度;第一次提出了月亮比太陽離地球近的論點;第一次發現恆星運動。一行是世界上最早發現恆星運動的科學家。通過觀察,一行比較正確地掌握了太陽運動的規律,他還發現了恆星位置移動的現象,比英國天文學家哈雷在公元1718年提出的恆星自行的觀點要早1000年。1982年國際上將月球劃分為幾個區域,將其中的一個區域命名為「一行」。
到了開元末年,裴寬為河南府尹。他篤信佛教,以師父之禮對待嵩山的普寂禪師,白天晚上都去拜訪他。有一天,裴寬又到了普寂處,普寂說:「我正有件小事,無暇與你漫談,暫請在此休息一下。」裴寬悄悄地來到一間空房子,見普寂清洗完正面殿堂,點上香,端坐在那裏。沒坐多久,突然聽到敲門聲,連聲說道「天師一行和尚到了。」
一行走了進來,到普寂跟前行禮,行完禮之後,貼近普寂的耳朵悄悄說話,樣子極其恭敬。普寂只是接受,毫無不同意的表示。密語完了又行禮,行禮完了又密語,如此反覆多次,普寂只說「是、是」,沒有不應允的。一行說完後,走下台階,進了南屋,自己把門關好。普寂便徐徐吩咐弟子道:「放鐘!一行和尚滅度了!」身邊的人急忙跑過去查看,果然像普寂法師說的一樣。