資訊內容
剖析Python垃圾回收機制
PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
引用計數器為主、分代碼回收和標記清除為輔PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
1.1 大管家refchain在Python的C源碼中有一個名為refchain的環狀雙向鏈表,這個鏈表比較牛逼了,因為Python程序中一旦創建對象都會把這個對象添加到refchain這個鏈表中。也就是說他保存著所有的對象。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
1.2 引用計數器在refchain中的所有對象內部都有一個ob_refcnt用來保存當前對象的引用計數器,顧名思義就是自己被引用的次數。當值被多次引用時候,不會在內存中重復創建數據,而是引用計數器+1 。 當對象被銷毀時候同時會讓引用計數器-1,如果引用計數器為0,則將對象從refchain鏈表中摘除,同時在內存中進行銷毀(暫不考慮緩存等特殊情況)。age = 18number = age # 對象18的引用計數器 + 1del age # 對象18的引用計數器 - 1def run(arg): print(arg) run(number) # 剛開始執行函數時,對象18引用計數器 + 1,當函數執行完畢之后,對象18引用計數器 - 1 。num_list = [11,22,number] # 對象18的引用計數器 + 1復制代碼1.3 標記清除&分代回收基于引用計數器進行垃圾回收非常方便和簡單,但他還是存在循環引用的問題,導致無法正常的回收一些數據,例如:PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
v1 = [11,22,33] # refchain中創建一個列表對象,由于v1=對象,所以列表引對象用計數器為1.v2 = [44,55,66] # refchain中再創建一個列表對象,因v2=對象,所以列表對象引用計數器為1.v1.append(v2) # 把v2追加到v1中,則v2對應的[44,55,66]對象的引用計數器加1,**終為2.v2.append(v1) # 把v1追加到v1中,則v1對應的[11,22,33]對象的引用計數器加1,**終為2.del v1 # 引用計數器-1del v2 # 引用計數器-1復制代碼對于上述代碼會發現,執行del操作之后,沒有變量再會去使用那兩個列表對象,但由于循環引用的問題,他們的引用計數器不為0,所以他們的狀態:永遠不會被使用、也不會被銷毀。項目中如果這種代碼太多,就會導致內存一直被消耗,直到內存被耗盡,程序崩潰。為了解決循環引用的問題,引入了標記清除技術,專門針對那些可能存在循環引用的對象進行特殊處理,可能存在循環應用的類型有:列表、元組、字典、集合、自定義類等那些能進行數據嵌套的類型。標記清除:創建特殊鏈表專門用于保存 列表、元組、字典、集合、自定義類等對象,之后再去檢查這個鏈表中的對象是否存在循環引用,如果存在則讓雙方的引用計數器均 - 1 。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
分代回收:對標記清除中的鏈表進行優化,將那些可能存在循引用的對象拆分到3個鏈表,鏈表稱為:0/1/2三代,每代都可以存儲對象和閾值,當達到閾值時,就會對相應的鏈表中的每個對象做一次掃描,除循環引用各自減1并且銷毀引用計數器為0的對象。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
// 分代的C源碼#define NUM_GENERATIONS 3struct gc_generation generations[NUM_GENERATIONS] = { /* PyGC_Head, threshold, count */ {{(uintptr_t)_GEN_HEAD(0), (uintptr_t)_GEN_HEAD(0)}, 700, 0}, // 0代 {{(uintptr_t)_GEN_HEAD(1), (uintptr_t)_GEN_HEAD(1)}, 10, 0}, // 1代 {{(uintptr_t)_GEN_HEAD(2), (uintptr_t)_GEN_HEAD(2)}, 10, 0}, // 2代};復制代碼特別注意:0代和1、2代的threshold和count表示的意義不同。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
0代,count表示0代鏈表中對象的數量,threshold表示0代鏈表對象個數閾值,超過則執行一次0代掃描檢查。 1代,count表示0代鏈表掃描的次數,threshold表示0代鏈表掃描的次數閾值,超過則執行一次1代掃描檢查。 2代,count表示1代鏈表掃描的次數,threshold表示1代鏈表掃描的次數閾值,超過則執行一2代掃描檢查。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
1.4 情景模擬根據C語言底層并結合圖來講解內存管理和垃圾回收的詳細過程。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
第一步:當創建對象age=19時,會將對象添加到refchain鏈表中。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
第二步:當創建對象num_list = [11,22]時,會將列表對象添加到 refchain 和 generations 0代中。 PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
第三步:新創建對象使generations的0代鏈表上的對象數量大于閾值700時,要對鏈表上的對象進行掃描檢查。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
當0代大于閾值后,底層不是直接掃描0代,而是先判斷2、1是否也超過了閾值。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
如果2、1代未達到閾值,則掃描0代,并讓1代的 count + 1 。如果2代已達到閾值,則將2、1、0三個鏈表拼接起來進行全掃描,并將2、1、0代的count重置為0.如果1代已達到閾值,則講1、0兩個鏈表拼接起來進行掃描,并將所有1、0代的count重置為0.對拼接起來的鏈表在進行掃描時,主要就是剔除循環引用和銷毀垃圾,詳細過程為:PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
掃描鏈表,把每個對象的引用計數器拷貝一份并保存到 gc_refs中,保護原引用計數器。再次掃描鏈表中的每個對象,并檢查是否存在循環引用,如果存在則讓各自的gc_refs減 1 。再次掃描鏈表,將 gc_refs 為 0 的對象移動到unreachable鏈表中;不為0的對象直接升級到下一代鏈表中。處理unreachable鏈表中的對象的 析構函數 和 弱引用,不能被銷毀的對象升級到下一代鏈表,能銷毀的保留在此鏈表。析構函數,指的就是那些定義了__del__方法的對象,需要執行之后再進行銷毀處理。**后將 unreachable 中的每個對象銷毀并在refchain鏈表中移除(不考慮緩存機制)。至此,垃圾回收的過程結束。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
1.5 緩存機制從上文大家可以了解到當對象的引用計數器為0時,就會被銷毀并釋放內存。而實際上他不是這么的簡單粗暴,因為反復的創建和銷毀會使程序的執行效率變低。Python中引入了“緩存機制”機制。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
例如:引用計數器為0時,不會真正銷毀對象,而是將他放到一個名為 free_list 的鏈表中,之后會再創建對象時不會在重新開辟內存,而是在free_list中將之前的對象來并重置內部的值來使用。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
float類型,維護的free_list鏈表**多可緩存100個float對象。 v1 = 3.14 # 開辟內存來存儲float對象,并將對象添加到refchain鏈表。 print( id(v1) ) # 內存地址:4436033488 del v1 # 引用計數器-1,如果為0則在rechain鏈表中移除,不銷毀對象,而是將對象添加到float的free_list. v2 = 9.999 # 優先去free_list中獲取對象,并重置為9.999,如果free_list為空才重新開辟內存。 print( id(v2) ) # 內存地址:4436033488 # 注意:引用計數器為0時,會先判斷free_list中緩存個數是否滿了,未滿則將對象緩存,已滿則直接將對象銷毀。復制代碼int類型,不是基于free_list,而是維護一個small_ints鏈表保存常見數據(小數據池),小數據池范圍:-5 <= value < 257。即:重復使用這個范圍的整數時,不會重新開辟內存。 v1 = 38 # 去小數據池small_ints中獲取38整數對象,將對象添加到refchain并讓引用計數器+1。 print( id(v1)) #內存地址:4514343712 v2 = 38 # 去小數據池small_ints中獲取38整數對象,將refchain中的對象的引用計數器+1。 print( id(v2) ) #內存地址:4514343712 # 注意:在解釋器啟動時候-5~256就已經被加入到small_ints鏈表中且引用計數器初始化為1, # 代碼中使用的值時直接去small_ints中拿來用并將引用計數器+1即可。另外,small_ints中的數據引用計數器永遠不會為0 # (初始化時就設置為1了),所以也不會被銷毀。復制代碼str類型,維護unicode_latin1[256]鏈表,內部將所有的ascii字符緩存起來,以后使用時就不再反復創建。 v1 = "A" print( id(v1) ) # 輸出:4517720496 del v1 v2 = "A" print( id(v1) ) # 輸出:4517720496 # 除此之外,Python內部還對字符串做了駐留機制,針對只含有字母、數字、下劃線的字符串(見源碼Objects/codeobject.c),如果 # 內存中已存在則不會重新在創建而是使用原來的地址里(不會像free_list那樣一直在內存存活,只有內存中有才能被重復利用)。 v1 = "asdfg" v2 = "asdfg" print(id(v1) == id(v2)) # 輸出:True復制代碼list類型,維護的free_list數組**多可緩存80個list對象。PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
v1 = [11,22,33] print( id(v1) ) # 輸出:4517628816del v1 v2 = ["你","好"] print( id(v2) ) # 輸出:4517628816復制代碼 tuple類型,維護一個free_list數組且數組容量20,數組中元素可以是鏈表且每個鏈表**多可以容納2000個元組對象。元組的free_list數組在存儲數據時,是按照元組可以容納的個數為索引找到free_list數組中對應的鏈表,并添加到鏈表中。v1 = (1,2) print( id(v1) )del v1 # 因元組的數量為2,所以會把這個對象緩存到free_list[2]的鏈表中。v2 = ("哈哈哈","Alex") # 不會重新開辟內存,而是去free_list[2]對應的鏈表中拿到一個對象來使用。print( id(v2) )復制代碼dict類型,維護的free_list數組**多可緩存80個dict對象 v1 = {"k1":123} print( id(v1) ) # 輸出:4515998128 del v1 v2 = {"name":"哈哈哈","age":18,"gender":"男"} print( id(v1) ) # 輸出:4515998128復制代碼C語言源碼底層分析PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
相關免費學習推薦:python教程(視頻)PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺
以上就是剖析Python垃圾回收機制的詳細內容,更多請關注少兒編程網其它相關文章!PFa少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

- 上一篇
python爬蟲要用到哪些庫?
簡介python爬蟲要用到的庫:請求庫:實現HTTP請求操作urllib:一系列用于操作URL的功能。requests:基于urllib編寫的,阻塞式HTTP請求庫,發出一個請求,一直等待服務器響應后,程序才能進行下一步處理。selenium:自動化測試工具。一個調用瀏覽器的driver,通過這個庫你可
- 下一篇
python代碼如何加中文注釋?
簡介Python注釋的具體用法:1.單行注釋Python編程語言的單行注釋常以#開頭,單行注釋可以作為單獨的一行放在被注釋代碼行之上,也可以放在語句或者表達式之后。示例:# -*- coding: UTF-8 -*-print (hello&