在Python中,每個(gè)類都有實(shí)例屬性。默認(rèn)情況下Python用一個(gè)字典來保存一個(gè)對象的實(shí)例屬性。這非常有用,因?yàn)樗试S我們在運(yùn)行時(shí)去設(shè)置任意的新屬性。
然而,對于有著已知屬性的小類來說,它可能是個(gè)瓶頸。這個(gè)字典浪費(fèi)了很多內(nèi)存。Python不能在對象創(chuàng)建時(shí)直接分配一個(gè)固定量的內(nèi)存來保存所有的屬性。因此如果你創(chuàng)建許多對象(我指的是成千上萬個(gè)),它會消耗掉很多內(nèi)存。
不過還是有一個(gè)方法來規(guī)避這個(gè)問題。這個(gè)方法需要使用__slots__
來告訴Python不要使用字典,而且只給一個(gè)固定集合的屬性分配空間。
這里是一個(gè)使用與不使用__slots__
的例子:
不使用 __slots__
:
class MyClass(object):
def __init__(self, name, identifier):
self.name = name
self.identifier = identifier
self.set_up()
# ...
__slots__
:
class MyClass(object):
__slots__ = ['name', 'identifier']
def __init__(self, name, identifier):
self.name = name
self.identifier = identifier
self.set_up()
# ...
第二段代碼會為你的內(nèi)存減輕負(fù)擔(dān)。通過這個(gè)技巧,有些人已經(jīng)看到內(nèi)存占用率幾乎40%~50%的減少。
稍微備注一下,你也許需要試一下PyPy。它已經(jīng)默認(rèn)地做了所有這些優(yōu)化。
以下你可以看到一個(gè)例子,它用IPython來展示在有與沒有__slots__
情況下的精確內(nèi)存占用,感謝 https://github.com/ianozsvald/ipython_memory_usage
Python 3.4.3 (default, Jun 6 2015, 13:32:34)
Type "copyright", "credits" or "license" for more information.
IPython 4.0.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
In [1]: import ipython_memory_usage.ipython_memory_usage as imu
In [2]: imu.start_watching_memory()
In [2] used 0.0000 MiB RAM in 5.31s, peaked 0.00 MiB above current, total RAM usage 15.57 MiB
In [3]: %cat slots.py
class MyClass(object):
__slots__ = ['name', 'identifier']
def __init__(self, name, identifier):
self.name = name
self.identifier = identifier
num = 1024*256
x = [MyClass(1,1) for i in range(num)]
In [3] used 0.2305 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 15.80 MiB
In [4]: from slots import *
In [4] used 9.3008 MiB RAM in 0.72s, peaked 0.00 MiB above current, total RAM usage 25.10 MiB
In [5]: %cat noslots.py
class MyClass(object):
def __init__(self, name, identifier):
self.name = name
self.identifier = identifier
num = 1024*256
x = [MyClass(1,1) for i in range(num)]
In [5] used 0.1758 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 25.28 MiB
In [6]: from noslots import *
In [6] used 22.6680 MiB RAM in 0.80s, peaked 0.00 MiB above current, total RAM usage 47.95 MiB