Comblez la lacune avec le pronom qui, que, où, dont.
Ils retournent de temps en temps dans le village ... ils vivaient quand ils étaient petits.