Albrycht urodził się w 1835 r., w Warszawie – mówi Robert Och, znany puławski historyk i regionalista. – Miał sześcioro rodzeństwa. Musiało im się w stolicy nieźle powodzić, bo młody Jan skończył gimnazjum, a potem z całą rodziną przenieśli się do Puław, gdzie podjął naukę w przeniesionym tu z Marymontu Instytucie Agronomicznym.
Studia przerwał wybuch Powstania Styczniowego. Po jego upadku Albrycht skończył studia w Szkole Głównej w Warszawie. Otrzymał tytuł inżyniera kolejnictwa. Z dyplomem w ręku podjął pracę. Budował m.in. linię kolejową w Kiszyniowie; tam tez otworzył własne biuro projektowe. Po powrocie do kraju w 1875 r. pracował przy budowie kolei na trasie z Łukowa do Dęblina, a później z Puław do Lublina.
Albrycht w końcu na stałe osiadł w Puławach, ożenił się z Marią z domu Kaczanowską.
– Jego małżonka urodziła się w Algierii – mówi Robert Och. – Nie wiadomo, jak się poznali, jej matka była Francuzką.
Albrychtowie mieli trójkę dzieci. W Puławach mieli dwie wille, zresztą wybudowane przez Jana. Jedna – tzw. mała Albrychtówka mieściła się przy ul. Lipowej, druga – duża Albrychtówka – przy ul. Japońskiej. Do dziś nie pozostało po nich śladu.