W połowie XVI wieku Ślemień został zakupiony przez Komorowskich, którzy kontrolowali większość Żywiecczyzny. Na początku XVII wieku, po podziale majątku Komorowskich, powstało kilka niezależnych państw, w tym państwo ślemieńskie. Miejscowość zaczęła wówczas odgrywać istotną rolę jako ośrodek administracyjny i gospodarczy. Na jej terenie powstał dwór właścicieli, który był centralnym punktem życia lokalnego.
W drugiej połowie XVII wieku Ślemień przejęła rodzina Wielopolskich, która kontynuowała rozwój gospodarczy wsi. Hieronim Wielopolski, żyjący w XVIII wieku, był najbardziej aktywnym przedstawicielem rodu w kwestiach ekonomicznych. To właśnie on zainicjował