Cieszkowski urodził się w 1826 r. Ojciec był posłem na Sejm Królestwa Polskiego.
– Rodzina Cieszkowskich należała do szlachty – mówi Robert Och, znany puławski historyk i regionalista. – Sam Kajetan nie był jednak zbyt bogaty, dzierżawił tylko jedną wioską – Kozią Górę w pow. krasnostawskim. Dopiera jego żona, Emilia wniosła pokaźny posag – kilka wiosek, m.in. Starościn i Biedaczkę w pow. lubartowskim.
Punkt kontaktowy dla powstańców
Po ślubie Cieszkowscy zamieszkali w Starościnie. Ich dwór od początku stał się ośrodkiem ruchu patriotycznego i spiskowego. W 1861 r. odbywały się w nim agitacje patriotyczne, był też punktem kontaktowym dla powstańców, stąd kolportowano również konspiracyjną prasę na terenie całego województwa lubelskiego. Kiedy wybuchło powstanie, to Starościn stał się jednym z najważniejszych punktów łączności między rządem narodowym a oddziałami powstańczymi. Mieścił się tu także skład mundurów i amunicji.