Décharger un module en Python

TL / DR:

import gc, sys

print len(gc.get_objects()) # 4073 objects in memory

# Attempt to unload the module

import httplib
del sys.modules["httplib"]
httplib = None

gc.collect()
print len(gc.get_objects()) # 6745 objects in memory

mise à jour J'ai contacté les développeurs Python à propos de ce problème et en effet il ne sera pas possible de décharger complètement un module "dans les cinq prochaines années". (voir le lien)

Veuillez accepter que Python en effet ne supporte pas les modules de déchargement pour des problèmes techniques graves, fondamentaux, insurmontables, dans 2.X.

Au cours de ma récente chasse pour un memleak dans mon application, je l'ai réduit à les modules, à savoir mon incapacité à ordures recueillir un déchargement de module. L'utilisation de toute méthode listée ci-dessous pour décharger un module laisse des milliers d'objets en mémoire. En d'autres termes - Je ne peux pas décharger un module en Python...

Le reste de la question Est de tenter de récupérer un module d'une manière ou d'une autre.

, essayons:

import gc
import sys

sm = sys.modules.copy()  # httplib, which we'll try to unload isn't yet 
                         # in sys.modules, so, this isn't the source of problem

print len(gc.get_objects()) # 4074 objects in memory

Sauvegardons une copie de {[12] } pour tenter de la restaurer plus tard. Donc, c'est une ligne de base 4074 objets. Nous devrions idéalement y revenir d'une certaine manière.

Importons un module:

import httplib
print len(gc.get_objects()) # 7063 objects in memory

Nous sommes JUSQU'à 7K objets non-ordures. Essayons de supprimer httplib de sys.modules.

sys.modules.pop('httplib')
gc.collect()
print len(gc.get_objects()) # 7063 objects in memory

Eh Bien, cela ne fonctionne pas. Hmm, mais n'y a-t-il pas une référence dans __main__? Ah, oui:

del httplib
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Hourra, vers le bas 300 objets. Pourtant, pas de cigare, c'est beaucoup plus de 4000 objets originaux. Essayons de restaurer {[12] } à partir de la copie.

sys.modules = sm
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Hmmm, Eh bien c'était inutile, pas de changement.. Peut être que si on efface mondial...

globals().clear()
import gc # we need this since gc was in globals() too
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Locaux?

locals().clear()
import gc # we need this since gc was in globals() too
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Qu'est-ce que le.. si nous imported un module à l'intérieur de exec?

local_dict = {}
exec 'import httplib' in local_dict
del local_dict
gc.collect()
print len(gc.get_objects())  # back to 7063 objects in memory

Maintenant, ce n'est pas juste, il l'a importé __main__, pourquoi? Il n'aurait jamais dû quitter le local_dict... Argh! Nous revenons à entièrement importé httplib. Peut-être que si nous l'avons remplacé par un objet factice?

from types import ModuleType
import sys
print len(gc.get_objects())  # 7064 objects in memory

Sanglante.....!!

sys.modules['httplib'] = ModuleType('httplib')
print len(gc.get_objects())  # 7066 objects in memory

Mourir modules, mourir!!

import httplib
for attr in dir(httplib):
    setattr(httplib, attr, None)
gc.collect()
print len(gc.get_objects())  # 6749 objects in memory

Bon, après toutes les tentatives, le meilleur est + 2675 (près de +50%) du point de départ... C'est juste à partir d'un module... Qui n'a même pas quelque chose de grand à l'intérieur...

Ok, maintenant, sérieusement, où est mon erreur? Comment puis-je décharger un module et effacer tout son contenu? Ou les modules de Python sont-ils une fuite de mémoire géante?

Source complète sous forme plus simple à copier: http://gist.github.com/450606