J. Phil Carlton родился 14 января 1938 года в городе Роки-Маунт, Северная Каролина . Он учился в средней школе South Edgecombe в Пайнтопсе, Северная Каролина, где был президентом студенческого совета. Carlton получил степень бакалавра экономики в колледже штата Северная Каролина в 1960 году. В 1959-60 годах он работал помощником менеджера кампании в губернаторской кампании Терри Сэнфорда . Он получил степень доктора права в Университете Северной Каролины в Чапел-Хилл в 1963 году. Он занимался юридической практикой в Тарборо, Северная Каролина, с 1963 по 1968 год и работал административным помощником федерального судьи Л. Ричардсона Прейера в Гринсборо, Северная Каролина, в 1964 году.
В 1968 году он был избран окружным судьей 7-го судебного округа Северной Каролины и назначен главным судьей главным судьей Р. Хантом Паркером. Он был переизбран на 3 всеобщих выборах на 4-летний срок. Он занимал эту должность до 1977 года, когда губернатор Джим Хант назначил Карлтона первым секретарем Департамента по контролю за преступностью Северной Каролины. В 1979 году он был назначен губернатором Джимом Хантом в Апелляционный суд Северной Каролины. Затем он был избран в Верховный суд Северной Каролины и занимал должность младшего судьи до февраля 1983 года, когда он ушел в отставку, чтобы вернуться к частной юридической практике.
В 1983 году он был партнером-основателем юридической фирмы Poyner & Spruill [1] в Северной Каролине до 1994 года и практиковал в офисе в Роли, Северная Каролина. В эти годы и до выхода на пенсию в 2012 году он занимал должность главного исполнительного директора State Capital Law Firm Group (теперь SCGLEGAL, одна из крупнейших международных ассоциаций юридических фирм. Согласно веб-сайту группы, «он и 17 бывших губернаторов штатов основали организацию в 1989 году, когда он был партнером в фирме-члене Северной Каролины Poyner & Spruill LLP. Он был избран первым председателем State Capital Group в 1989 году и занимал эту должность до 1993 года, когда он стал генеральным директором».
Карлтон был главным переговорщиком по Генеральному соглашению об урегулировании табачной отрасли в 1990-х годах.
Карлтон был председателем Совета попечителей в колледже Уэслиан в Северной Каролине . Он получил почетную степень доктора права в 1979 году.