谭耀文的合法妻子是圈外人Fiona，两人于2003年结婚，至今未离婚。 他与Fiona育有一子一女，儿子Daniel和女儿Tamia，一家四口长期低调恩爱。谭耀文多次在采访中坦言重视家庭，曾表示妻子常赴内地剧组煲汤照顾他，两人正积极备孕二胎。 早年有媒体拍到他与一名“夹克女”在北京看房逛街，举止亲密，引发“包二奶”猜测。但知情业内人士澄清，该女子并非其情人，只是普通朋友，谭耀文当时确实在京购房自住，且住所与报道中一致。 谭耀文向来以顾家形象示人，业内公认他专注事业与家庭，仅2009年前后有过一次疑似绯闻，此后再无类似传闻。他本人从未承认任何婚外关系，也未与Fiona传出感情破裂消息。
