hard time - это когда сложно что-то сделать
difficult time - это когда речь идет о сложном периоде в жизни

Например:
He's having a hard time remembering what happened last night. / Ему сложно вспомнить, что произошло прошлой ночью.
He's having a difficult time at work. He will probably have to quit. / У него сложный период на работе. Возможно, ему придется уйти (с работы).