Comblez la lacune avec le pronom qui, que, où, dont.

Ils retournent de temps en temps dans le village ... ils vivaient quand ils étaient petits.