1946 heiratete er die Haiminger Schmiedstochter Hildegard Schilcher und führte mit ihr eine kleine Landwirtschaft im „Schilcherschen“ Anwesen in der Ötztalerstraße Nummer 11, im Volksmund als „Schmiedgasse“ bezeichnet. Viel Zeit verbrachte er mit dem Holz richten, meist sein Pfeiferl im Mund. So war es auch kein Zufall, dass der damalige Chronist Karl Hofer beim Besuch von Johann Ruef am 13. Dezember 1976 ihn beim Holzhacken antraf. Johann Ruef war auch einer der letzten Haiminger Bauern, die mit dem Arbeitsross unterwegs waren. Mit seiner Frau Hildegard hatte er zwei Kinder: Agnes, die noch in der „Schmiedgasse“ wohnt und Johann jun., der auf tragische Weise bei einem Autounfall im Jahre 1984 ums Leben kam. Johann sen. starb am 19. November 1990.