当前位置：首页 > 科技 > 软件

通过研究案例，彻底掌握Python GIL

来源：责编：时间：2023-11-04 23:04:50 215观看

导读Python因其全局解释器锁（GIL）而声名狼藉。GIL限制了Python解释器一次只能执行一个线程。在现代多核CPU上，这是一个问题，因为程序无法利用多个核心。不过，尽管存在这种限制，Python仍已成为从后端Web应用到AI/ML和科学计算等

Python因其全局解释器锁（GIL）而声名狼藉。GIL限制了Python解释器一次只能执行一个线程。在现代多核CPU上，这是一个问题，因为程序无法利用多个核心。不过，尽管存在这种限制，Python仍已成为从后端Web应用到AI/ML和科学计算等领域的顶级语言。

1、训练数据管道的结构

对于大多数后端Web应用来说，GIL的限制并不是一个约束，因为它们通常受到I/O的限制。在这些应用中，大部分时间只是等待来自用户、数据库或下游服务的输入。系统只需具备并发性，而不一定需要并行性。Python解释器在执行I/O操作时会释放GIL，因此当线程等待I/O完成时，就会给另一个线程获得GIL并执行的机会。

GIL的限制不会影响大多数计算密集型的AI/ML和科学计算工作负载，因为像NumPy、TensorFlow和PyTorch等流行框架的核心实际上是用C++实现的，并且只有Python的API接口。大部分计算可以在不获取GIL的情况下进行。这些框架使用的底层C/C++内核库（如OpenBLAS或Intel MKL）可以利用多个核心而不受GIL的限制。

当同时有I/O和计算任务时会发生什么？

2、使用纯Python的计算任务

具体来说，可以考虑以下两个简单的任务。

import timedef io_task():    start = time.time()    while True:        time.sleep(1)        wake = time.time()        print(f"woke after: {wake - start}")        start = wake        def count_py(n):  compute_start = time.time()  s = 0  for i in range(n):      s += 1  compute_end = time.time()  print(f"compute time: {compute_end - compute_start}")  return s

在这里，通过休眠一秒钟来模拟一个I/O限制的任务，然后唤醒并打印它休眠了多长时间，然后再次休眠。count_py是一个计算密集型的任务，它简单地对数字n进行计数。如果同时运行这两个任务会发生什么？

import threadingio_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_py(100000000)

输出结果如下：

woke after: 1.0063529014587402woke after: 1.009704828262329woke after: 1.0069530010223389woke after: 1.0066332817077637compute time: 4.311860084533691

count_py需要大约4.3秒才能计数到一百万。但是io_task在同一时间内运行而不受影响，大约在1秒后醒来，与预期相符。尽管计算任务需要4.3秒，但Python解释器可以预先从运行计算任务的主线程中释放GIL，并给予io_thread获得GIL并运行的机会。

3、使用numpy的计算任务

现在，本文将在numpy中实现计数函数，并进行与之前相同的实验，但这次要计数到一千万，因为numpy的实现效率更高。

import numpy as npdef count_np(n):    compute_start = time.time()    s = np.ones(n).sum()    compute_end = time.time()    print(f"compute time: {compute_end - compute_start}")    return s  io_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_np(1000000000)

输出结果如下：

woke after: 1.0001161098480225woke after: 1.0008511543273926woke after: 1.0004539489746094woke after: 1.1320469379425049compute time: 4.1334803104400635

这显示的结果与上一次实验类似。在这种情况下，不是Python解释器预先释放了GIL，而是numpy自己主动释放了GIL。

这是否意味着在独立的线程中同时运行I/O任务和计算任务总是安全的？

4、使用自定义C++扩展的计算任务

现在，本文将用Python的C++扩展实现计数函数。

// importing Python C API Header#include <Python.h>#include <vector>static PyObject *count(PyObject *self, PyObject *args){  long num;  if (!PyArg_ParseTuple(args, "l", &num))         return NULL;  long result = 0L;  std::vector<long> v(num, 1L);  for (long i=0L; i<num; i++) {    result += v[i];   }  return Py_BuildValue("l", result);}// defining our functions like below:// function_name, function, METH_VARARGS flag, function documentsstatic PyMethodDef functions[] = {  {"count", count, METH_VARARGS, "Count."},  {NULL, NULL, 0, NULL}};// initializing our module informations and settings in this structure// for more informations, check head part of this file. there are some important links out there.static struct PyModuleDef countModule = {  PyModuleDef_HEAD_INIT, // head informations for Python C API. It is needed to be first member in this struct !!  "count",  // module name  NULL,  -1,  functions  // our functions list};// runs while initializing and calls module creation function.PyMODINIT_FUNC PyInit_count(void){  return PyModule_Create(&countModule);}

可以通过运行python setup.py build来构建扩展，使用以下setup.py：

from distutils.core import setup, Extensioncount_module = Extension('count', sources=['count.cpp'])setup(name='python_count_extension',      versinotallow='0.1',      descriptinotallow='An Example For Python C Extensions',      ext_modules=[count_module],      )

然后，使用作为自定义扩展实现的计数函数运行实验：

import count def count_custom(n):    compute_start = time.time()    s = count.count(n)    compute_end = time.time()    print(f"compute time: {compute_end - compute_start}")    return sio_thread = threading.Thread(target=io_task, daemnotallow=True)io_thread.start()count_custom(1000000000)

得到如下结果：

woke after: 4.414866924285889compute time: 4.414893865585327

在这种情况下，计算任务持有GIL，并阻止I/O线程运行。

Python解释器只能在两个Python字节码指令之间预先释放GIL，在扩展中，是否自愿释放GIL取决于扩展的实现。

在这种情况下，本例进行了一个不会影响任何Python对象的琐碎计算，因此可以在C++的计数函数中使用宏Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS来释放GIL：

static PyObject *count(PyObject *self, PyObject *args){  long num;  if (!PyArg_ParseTuple(args, "l", &num))         return NULL;  long result = 0L;  Py_BEGIN_ALLOW_THREADS  std::vector<long> v(num, 1L);  for (long i=0L; i<num; i++) {    result += v[i];   }   Py_END_ALLOW_THREADS  return Py_BuildValue("l", result);}

使用这种实现方式，当重新运行实验时，会得到如下结果：

woke after: 1.0026037693023682woke after: 1.003467082977295woke after: 1.0028629302978516woke after: 1.1772480010986328compute time: 4.186192035675049

5、结论

在使用Python时，了解GIL是很重要的。在大多数常见情况下，可能不会遇到它的限制。但是，如果使用包装C/C++库的第三方Python包（除了标准的NumPy、SciPy、TensorFlow或PyTorch），在涉及到任何重型计算时可能会遇到一些问题。在开发自定义扩展时，最好在进行重型计算之前释放GIL，以便其他Python线程有机会运行。

本文链接：http://www.28at.com/showinfo-26-16939-0.html通过研究案例，彻底掌握Python GIL

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Sed 原地替换文件时遇到的趣事

下一篇：五个使用IntelliJ IDEA优化Java代码的小技巧

标签：

热门焦点

Redmi Buds 4开箱简评：才199还有降噪可以无脑入

在上个月举办的Redmi Note11T Pro系列新机发布会上，除了两款手机新品之外，Redmi还带来了两款TWS真无线蓝牙耳机产品，Redmi Buds 4和Redmi Buds 4 Pro，此前我们在Redmi Note11T
一加首款折叠屏！一加Open渲染图出炉：罕见单手可握小尺寸

8月5日消息，此前就有爆料称，一加首款折叠屏手机将会在第三季度上市，如今随着时间临近，新机的各种消息也开始浮出水面。据悉，这款新机将会被命名为“On
Raft算法：保障分布式系统共识的稳健之道

1. 什么是Raft算法？Raft 是英文”Reliable、Replicated、Redundant、And Fault-Tolerant”（“可靠、可复制、可冗余、可容错”）的首字母缩写。Raft算法是一种用于在分布式系统
如何通过Python线程池实现异步编程？

线程池的概念和基本原理线程池是一种并发处理机制，它可以在程序启动时创建一组线程，并将它们置于等待任务的状态。当任务到达时，线程池中的某个线程会被唤醒并执行任务，执行完任
一篇文章带你了解 CSS 属性选择器

属性选择器对带有指定属性的 HTML 元素设置样式。可以为拥有指定属性的 HTML 元素设置样式，而不仅限于 class 和 id 属性。一、了解属性选择器CSS属性选择器提供了一种简单而
WebRTC.Net库开发进阶，教你实现屏幕共享和多路复用！

WebRTC.Net库：让你的应用更亲民友好，实现视频通话无痛接入！除了基本用法外，还有一些进阶用法可以更好地利用该库。自定义 STUN/TURN 服务器配置WebRTC.Net 默认使用 Google 的
阿里瓴羊One推出背后，零售企业迎数字化新解

作者:刘旷近年来随着数字经济的高速发展，各式各样的SaaS应用服务更是层出不穷，但本质上SaaS大多局限于单一业务流层面，对用户核心关切的增长问题等则没有提供更好的解法。在Saa
小米公益基金会捐赠2500万元驰援北京、河北暴雨救灾

8月2日消息，今日小米科技创始人雷军在其微博上发布消息称，小米公益基金会宣布捐赠2500万元驰援北京、河北暴雨救灾。携手抗灾，京冀安康！以下为公告原文
“买真退假” 这种“羊毛”不能薅

□ 法治日报记者王春　　□ 本报通讯员胡佳丽　　2020年初，还在上大学的小东加入了一个大学生兼职QQ群。群主“七王”在群里介绍一些刷单赚