Родился 29 декабря 1885 года в Выборге, в семье потомственного финляндского дворянина, работавшего техником. Мать — шведская баронесса.
В детстве отец Гаральда нередко менял работу, поэтому часто случались переезды; с 1893 года семья обосновалась в Санкт-Петербурге, где Гаральд получил начальное образование. После окончания гимназии в 1898 году поступил в Морской кадетский корпус.
В летнюю кампанию 1900 года совершил первое учебное плавание на судне «Моряк» , а в следующие две кампании регулярно выходил в море на крейсере I ранга «Князь Пожарский» и учебном судне «Верный» .
В 1903 году произведён в старшие гардемарины.
С началом Русско-японской войны произведён в числе сверстников в мичманы и определён служить на Балтийский флот.
В декабре 1904 года Гаральд Карлович Граф получил назначение на транспорт «Иртыш» Второй Тихоокеанской эскадры. Во время длительного похода исполнял обязанности ревизора и познакомился с П. П. Шмидтом.
В Цусимском сражении «Иртыш» получил тяжёлые повреждения и был затоплен у берегов Японии; экипаж попал в плен, продолжавшийся семь месяцев.После возвращения в Россию служил на крейсере «Аврора» , затем привлекался для приёма новых миноносцев, построенных во Франции; с 1906 года находился на эсминцах балтийской Минной дивизии, исполняя обязанности вахтенного, а затем — старшего офицера.
В 1907-1908 годах прошёл обучение и успешно окончил Минный офицерский класс.
В период обучения произведён в лейтенанты.
В 1908 году последовательно занимал должности старшего офицера на эскадренном миноносце «Трухменец» и младшего минного офицера крейсере «Адмирал Макаров» . Во время похода в Средиземное море принимал участие в спасательных работах после землетрясения в Мессине.1 мая 1909 года назначен старшим минным офицером на минный заградитель «Амур» .
На этом корабле сумел наладить чёткое действие системы постановки мин заграждения и подготовить должным образом личный состав, заслужив самые лестные отзывы непосредственных начальников.27 сентября 1909 года состоялась свадьба Г. К. Графа, а спустя год у Нины Викторовны Граф родилась дочь Лидия. После этого Г. К. Граф преподавал в Минной школе и работал в Николаевской военно-морской академии.
С 11 августа 1914 года — младший минный офицер эсминца «Новик» .
В 1915 году Г. К. Граф был назначен старшим минным офицером и получил чин старшего лейтенанта, а в следующем году стал старшим офицером «Новика» . Участие Гаральда Карловича в боевых действиях отмечено наградами: орденами Святого Станислава 2-й степени с мечами (1914 год), Святого Владимира 4-й степени с мечами и бантом (1915 год), Святой Анны 2-й степени с мечами (1916 год).
В феврале 1917 года назначен Флагманским минным офицером штаба начальника Минной обороны и в марте 1917 года покинул «Новик» .Вскоре произведён «за отличие» в чин капитана 2-го ранга. Вскоре после прихода к власти большевиков покинул флот и остался в Гельсингфорсе, став гражданином Финляндии. После смерти первой жены в 1917 году вторично женился в 1919 году. Гаральд Карлович принял некоторое участие в белой борьбе на Северо-Западе, после поражения Юденича вслед за великокняжеской семьёй Кирилла Владимировича Г. К. Граф перебрался в Германию. Там он издал воспоминания о службе в русском флоте и вскоре занялся писательской деятельностью.
В эмиграции принял православие и получил имя Георгий.
В 1924 году Георгий Карлович Граф становится начальником канцелярии и личным секретарём Великого князя Кирилла Владимировича, который обнародовал манифест о принятии им императорского титула.
До начала Второй мировой войны состоял при Великом князе; в 1930 году Граф был произведён в чин капитана 1-го ранга, а в 1939 — контр-адмирала.23 июня 1941 года Г. К. Граф был арестован военным патрулем гестапо во Франции и на 14 месяцев помещён в концлагерь для военнопленных «Frontstalag-122» под городом Компьень. После окончания войны Георгий Карлович поселился в США, где скончался 11 октября 1966 года.