We grew apart over the years.

We used to be close friends, but we grew apart over the years. / Раньше мы были близкими друзьями, но с годами мы отдалились друг от друга.