Non e' cosi' facile.
Non tutte le librerie sono in Python puro, molte contengono codice C che viene compilato al momento dell'installazione.
poi c'e' il problema delle dipendenze delle librerie, che vanno installate anche loro.
La soluzione piu' semplice e' lavorare su una macchina ‘clone' dove puoi installare quello che vuoi, e quando tutto funziona, CLONI l'Intero environment python e la tua installazione sulla macchina destinazione.
Ovviamente non puoi fare il lavoro in Windows se la macchina e' Linux, e non mi fiderei NEMMENO di una distribuzione DIVERSA di Linux.
Dovrebbe essere lo stesso sistema operativo, e magari anche lo stesso utente.
Ci sono altre soluzioni ma la complessità aumenta in modo esponenziale.