共享 CUDA 内存

CUDA 内置目标弃用通知

Numba 内置的 CUDA 目标已被弃用,后续开发已转移到 NVIDIA numba-cuda 包。请参阅 内置 CUDA 目标弃用和维护状态

进程间共享

进程间共享通过 Legacy CUDA IPC API (函数名以 cuIpc 开头)实现,并且仅在 Linux 上受支持。

将设备数组导出到另一个进程

设备数组可以使用 CUDA IPC API 与同一机器上的另一个进程共享。为此,请在设备数组上使用 .get_ipc_handle() 方法来获取一个 IpcArrayHandle 对象,该对象可以传输到另一个进程。

DeviceNDArray.get_ipc_handle()

返回一个 IpcArrayHandle 对象,该对象可以安全地序列化并传输到另一个进程以共享本地分配。

注意:此功能仅在 Linux 上可用。

class numba.cuda.cudadrv.devicearray.IpcArrayHandle(ipc_handle, array_desc)

一个 IPC 数组句柄,可序列化并传输到同一机器上的另一个进程以共享 GPU 分配。

在目标进程上,使用 .open() 方法创建一个新的 DeviceNDArray 对象,该对象共享原始进程的分配。要释放资源,请调用 .close() 方法。此后,目标进程将无法再使用共享数组对象。(注意:资源的底层弱引用现已失效。)

该对象实现了上下文管理器接口,该接口会自动调用 .open().close() 方法

with the_ipc_array_handle as ipc_array:
    # use ipc_array here as a normal gpu array object
    some_code(ipc_array)
# ipc_array is dead at this point
close()

关闭到该数组的 IPC 句柄。

open()

返回一个新的 DeviceNDArray,该对象共享原始进程的分配。不得在原始进程上使用。

从另一个进程导入 IPC 内存

以下函数用于将另一个进程的 IPC 句柄作为设备数组打开。

cuda.open_ipc_array(shape, dtype, strides=None, offset=0)

一个上下文管理器,用于打开一个 IPC 句柄 (CUipcMemHandle),该句柄表示为字节序列(例如 bytes,整数元组),并将其表示为给定 shapestridesdtype 的数组。strides 可以省略。在这种情况下,它被假定为 1D C 连续数组。

生成一个设备数组。

当上下文管理器退出时,IPC 句柄会自动关闭。