GPU虚构化到池化期间深度分析 【ONED-976】ギリギリモザイク 6つのコスチュームでパコパコ！ Ami

在大型模子的鼓舞下，GPU算力的需求日益增长。但是，企业经常受限于有限的GPU卡资源，即使选拔虚构化期间，也难以充分垄断或不绝使用这些资源。为措置GPU算力资源的不平衡问题，同期鼓舞国产化替代，普及GPU资源的垄断效率，GPU算力池化的需求刻芜杂缓。

本文深远考虑了GPU拓荒虚构化的多种旅途，分享了GPU虚构化和分享决策，以及如何已毕GPU算力池化的云原生期间。让咱们沿路探索如何优化GPU资源，知足不停增长的算力需求。

AI智能化应用，如东说念主脸识别、语音识别、文本识别等，已平方渗入九行八业。这些被称为判定式AI的应用，时常与特定业务场景紧密筹办。在使用GPU卡时，各应用时常闲散初始，未充分垄断业务间的GPU分享才能。

但是，通过vGPU虚构化切分期间，一张物理GPU卡可虚构出多张vGPU，已毕多个判定式AI应用并行初始。这不仅提高了GPU资源的垄断率，还为各行业带来了更高效、智能的措置决策。

跟着大型模子的盛行，对GPU算力的需求急剧高潮。但是，履行中企业经常受限于稀缺的GPU卡资源，难以知足多元化的业务需求。即使选拔虚构化期间，也难以已毕GPU卡资源的充分和不绝垄断，导致可贵的GPU资源无法线路最大遵循。

一、从GPU虚构化需求到池化需求

智能化应用数目的增长对GPU算力资源的需求越来越多。NVIDIA天然提供了GPU虚构化和多GPU实例切分决策等，依然无法知足目田界说虚构GPU和通盘企业GPU资源的分享复用需求。

TensorFlow、Pytorch等智能化应用框架开发的应用经常会独占一张GPU整卡（AntMan框架是为分享的状貌假想的），从而使GPU卡缺少，另一方面，大部分应用却只使用卡的一小部分资源，举例身份证识别、单子识别、语音识别、投研分析等推理场景，这些场景GPU卡的垄断率王人比较低，莫得业务肯求时垄断率以致是0%，有算力却受限于卡的有限数目。

推理场景一卡独享，既浪掷又矛盾。因此，算力切分已成为广阔场景的刚需。但是，受限于组织架构等成分，各团队自行采购GPU，导致算力资源孤岛化、散播不均：有的团队GPU恬逸，有的却无卡可用。

为措置GPU算力资源分拨不均等问题，咱们致力于于鼓舞国产化替代，知足在线与离线、业务凹凸峰、试验推理以及开发测试坐蓐环境的资源需求差异。通过已毕融合料理和调节复用，普及GPU资源的垄断率。咱们期待已毕GPU资源的切分、团员、超分、资料调用和应用热移动等才能，以卤莽GPU算力池化的热切需求。

二、GPU拓荒虚构化道路

GPU拓荒虚构化有几种可行决策。

率先，咱们考虑PCIe纵贯模式（也被称为pGPU的PCIe Pass-through期间）。这种模式将物理主机的GPU卡成功映射到虚构机上。但是，由于其独占性，无法措置多应用分享一张GPU卡的问题，因此其骨子价值有限。

第二是选拔SR-IOV期间，允许一个PCIe拓荒在多个虚构机之间分享，同期保持较高性能。

通过SR-IOV在物理GPU拓荒上创建多个虚构 vGPU来已毕的，每个虚构vGPU不错被分拨给一个虚构机，让虚构机成功侦探和欺压这些虚构功能，从良友毕高效的I/O虚构化。NVIDIA早期的vGPU即是这么的已毕，不外NVIDIA vGPU需要独特的license，独特增多了老本。SR-IOV天然已毕了1：N的才能，但其纯真性比较差，难以更细粒度的分割和调节。

MPT（Mediated Pass-Through），一种翻新的PCIe拓荒虚构化措置决策，剖析了1:N的纯真性、不凡的性能和完整的功能。在内核态已毕device-model的逻辑，尽管厂商可能不会公开硬件编程接口，但MPT的选拔仍可能导致对特定厂商的依赖。

第四用的最多的模式是API转发模式。

笔据AI应用的调用端倪（如下图），API转发有多个端倪，包括：

CUDA API转发（图中①）GPU Driver API转发（图中②）拓荒硬件层API转发（图中③）

拓荒硬件层API常被束之高阁，但是CUDA API转发模式（即用户态）与GPU卡驱动Driver API转发模式（即内核态）却大行其说念。这两种模式分别通过截获CUDA请乞降驱动层请务已毕转发，为业界平方继承。

AI开发框架常与GPU卡紧密筹办，如华为的CANN、海光的DTK，以及英伟达的TensorFlow和Pytorch等。在AI应用中，这些框架可进行灵验转发，极大普及AI应用移动的方便性。

AI应用调用端倪

三、GPU虚构化和分享决策

掌持GPU拓荒虚构化手段，深度考虑其已毕时势。GPU虚构化和分享领有丰富决策，英伟达官方推出vGPU、MIG、MPS等措置决策，同期也存在非官方的vCUDA、rCUDA、内核劫持等计谋。

四、NVIDIA VGPU决策

NVIDIA vGPU，一款由NVIDIA提供的虚构化措置决策，以其不凡的可靠性和安全性著称。但是，它无法支撑容器，只可虚构化有限数目的vGPU，纯真性受限。此外，资源比例无法动态融合，存在分享损耗，且不支撑定制开发，需支付独特准可证用度。

vGPU 道理揭秘：

在NVIDIA的虚构GPU驱动的虚构化环境中，vGPU软件与Hypervisor联袂，共同装配在虚构化层上。这为普及效率和性能提供了广大的支撑。

此款软件能创造虚构GPU，让每个虚构机(VM)王人能与就业器上的物理GPU分享资源。关于需求极高的使命过程，单VM可垄断多个物理GPU。

咱们的软件内含适用于各种VM的显卡或策画驱动。由于正本由CPU完成的任务被分拨到GPU，用户将体验到更不凡的性能。虚构化和云环境大概支撑对工程和创意应用、以及策画密集型使命负载（如AI和数据科学）的严格条件。

NVIDIA的虚构GPU（vGPU）软件，为各种任务提供不凡的图形处感性能，从图像丰富的虚构使命站到数据科学和AI应用。它使IT部门大概充分垄断虚构化带来的料理和安全上风，同期知足当代使命负载对NVIDIA GPU的广大需求。vGPU软件装配在云或企业数据中心就业器的物理GPU上，可创建可在多个虚构机间分享的虚构GPU。这些虚构机不错遍地随时通过任何拓荒侦探。借助NVIDIA vGPU，您不错松开已毕高性能策画与纯真侦探的完好意思筹办。

上风：

垄断及时移动GPU加快的虚构机，您将赢得无缝不绝初始和前瞻性料理才能，确保用户体验不受干豫，数据安全无虞。借助融合的虚构GPU加快设施，夹杂VDI和策画使命负载得以高效初始，从而显赫普及数据中心资源的使用效率。通过拆分和分享GPU资源，或为单个VM分拨多个GPU，咱们大概支撑需求极高的使命负载，已毕性能的最大化垄断。借助纯真的调节选项，已毕险些与非虚构化环境无异的性能。

支撑虚构化的GPU 卡先容：

五、NVIDIA MIG 虚构化 多实例 GPU

MIG，一种先进的多实例GPU措置决策，专为Linux操作系统量身定制。它需要CUDA11/R450或更高版块才能完好意思初始。MIG与A100、H100等高端显卡完好意思匹配，同期支撑裸机和容器环境，以及vGPU模式。一朝将GPU卡确立为MIG，您就不错动态料理多个实例。MIG诞生具有持久性，即使在重启后也不会受到影响，除非用户主动切换。

MIG期间，让GPU资源在单卡上已毕最高7倍的推广，为研发东说念主员带来更丰富的资源和更高的操作纯真性。它优化了GPU使用效率，允许在归拢GPU上并行处理推理、试验和HPC任务。每个MIG实例王人像闲散GPU雷同初始，保持编程模子的通晓性，极地面便利了开发者。

单个 GPU 中包含七个闲散实例。

多实例GPU（MIG）期间，为NVIDIA Blackwell和Hopper™系列GPU注入更强能源与更高价值。此期间能将单个GPU永诀为七个闲散实例，每个实例均配备高带宽显存、缓存和策画中枢。借助MIG，料理员可松开卤莽各式规模的负载，确保通晓可靠的就业质料(QoS)，吉吉影音成人片让每位用户王人能尽享加快策画的便利。

上风概览：

MIG期间，让单个GPU资源普及至原来的7倍！为研发东说念主员和开发者带来丰富的资源与高度的纯真性。立即体验，开释无穷潜能！MIG提供万般化的GPU实例大小弃取，确保每项使命负载得到符合的处理。优化垄断率，开释数据中心投资价值，让性能与老本双赢。MIG期间让GPU能同期处理推理、试验和HPC任务，保持通晓的延长与蒙胧量。与传统的期间分片时势不同，扫数使命负载并行初始，显赫普及性能发扬。

期间道理：

若非MIG的介入，归拢GPU上的各式功课（如AI推理肯求）将争夺分享资源。显存带宽更大的功课会侵占其他功课的资源，使广阔功课无法达成延长目标。借助MIG，各功课能同期在不同的实例上初始，每个实例王人领有专属的策画、显存和显存带宽资源，从良友毕可规划的性能，知足就业质料(QoS)条件，并尽可能提高GPU的垄断率。

特色分析：

启动全新MIG（Multi-Instance GPU）特色，NVIDIA Ampere架构起的GPU可被安全分割为七种闲散的GPU实例，全力就业于CUDA应用。这一翻新假想使得多个用户得以各自领有专属的GPU资源，已毕最优垄断。MIG特色尤其适合那些无法充分线路GPU策画才能的使命负载场景，用户不错通过并行履行不同任务，最大程度地普及GPU效率。这不仅优化了资源分拨，也普及了合座性能，让GPU的每一份力量王人得到充分垄断。

关于追求多佃农就业的云就业提供商(CSP)，MIG期间确保单一客户端的操作不干豫其他客户。同期，它普及了各客户间的安全芜杂性，保险了就业的通晓与安全。

在MIG模式下，每个实例所对应的处理器具备闲散且芜杂的内存系统侦探旅途——片上交叉开关端口、L2缓存分段、内存欺压器以及DRAM地址总线均会专一地分拨给单个实例。这使得即便有其他任务在对其本人缓存进行多量读写操作或已使DRAM接口达到饱和的情况下，单个使命负载仍能赢得通晓、可预期的履行速率和延经久间，同期保证疏导水平的L2缓存分拨与DRAM带宽资源。MIG大概对GPU中的策画资源（包括流式多处理器或SM，以及诸如拷贝引擎或解码器之类的GPU引擎）进行永诀，从而为不同的客户（举例虚构机、容器或程度）提供预设的就业质料（QoS）保险及故障芜杂机制。

借助MIG期间，用户当今不错像料理实体GPU雷同，松开稽察和调节新建虚构GPU实例上的任务。MIG不仅与Linux系统完好意思兼容，还支撑基于Docker Engine的容器部署。更令东说念主激动的是，MIG还能无缝对接Kubernetes，以及在Red Hat虚构化和VMware vSphere等虚构机料理门径上诞生的虚构机。

MIG支撑如下部署决策：

1. 成功部署于裸金属环境，包含容器化部署

3. 垄断支撑的虚构机料理门径实施vGPU部署

垄断MIG期间，物理GPU可同步初始多个vGPU，已毕虚构机的并走运算。同期，vGPU的芜杂性保险依然得以保管，确保数据安全。

笔据需要调配和确立实例：

在NVIDIA GB200上，GPU可被分割为多个MIG实例，显存大小相反。举例，料理员能创建两个各占95GB的实例，或四个各占45GB的实例，以致是七个各占23GB的实例。如斯纯真的确立时势，让资源垄断愈加高效。

料理员可随时融合MIG实例，以稳当用户需乞降业务需求的快速变化，优化GPU资源分拨。举例，白昼神用七个MIG实例进行高效推理，夜间则整合为一个大型MIG实例，专注深度学习试验。

安全、并行初始使命负载：

每个MIG实例王人配备了专用的策画、内存温情存硬件资源，确保了通晓可靠的就业质料和故障芜杂。换句话说，即使某个实例上的应用出现故障，也不会对其他实例形成影响。

这示意，各种实例能初始多种使命负载，如交互式模子开发、深度学习试验、AI推理和高性能策画应用等。由于这些实例并走运作，萝莉少女它们在物理GPU上同期履行不同任务，却相互闲散，互不影响。

Blackwell GPU 中的 MIG

Blackwell 和 Hopper GPU，通过在虚构化环境中确立多达7个GPU实例，已毕了多佃农、多用户支撑，助力已毕MIG。在硬件和就业器虚构化料理门径层面，垄断奥密策画期间，安全地芜杂每个实例。每个MIG实例均配备专用视频解码器，能在分享基础架构上提供安全、高蒙胧量的智能视频分析（IVA）。借助并发MIG分析，料理员可及时监控限制规模的GPU加快，并为多个用户智能分拨资源。

轻负载计划，无需全云实例。MIG期间可芜杂并安全垄断GPU部分，确保数据在静态、传输和使用时的十足安全。这一计谋不仅使云供应商订价更具弹性，也拿获了袖珍客户的潜在契机。

数据中心级MIG多实例结构图

六、MIG 规格先容

支撑MIG GPU列表

MIG永诀 案例先容：

A100-SXM4-40GB产物确立一望无边。关于80GB版块，确立将随内存比例变化，展示为1g.10gb、2g.20gb、3g.40gb、4g.40gb和7g.80gb。

GPU Instance Profiles on A100

下图以图形时势展示了如何构建扫数灵验的GPU实例组合

MIG Profiles on A100

GPU Instance MIG切分先容：

A100-40GB GPU的内存切片组成，包含8个5GB的内存区域和7个SM切片。此分区模式通过内存切片已毕，具体如下图所示。

Available Slices on A100

如前所述，构建GPU实例（GI）需剖析一定量的内存切片与策画切片。下图展示了如何将1个5GB内存切片与1个策画切片相筹办，打造出1g.5gb的GI确立。

Combining Memory and Compute Slices

Combining Memory and Compute Slices

此确立在4GB或5GB的GPU实例中，提供了4个策画单位（中枢或流处理器）。内存容量则达到了惊东说念主的20GB，这是基于4倍于GPU实例规格的内存。这种高度纯真的确立时势，使得用户大概笔据其特定应用需求，邃密则制GPU资源。不管是进行大规模并行策画，照旧处理高内存需求的任务，王人能保证高效垄断GPU的性能。举例，在深度学习试验、高性能策画以及图形密集型应用中，弃取适合的GPU资源组合，将线路至关紧要的作用。

七、MPS(Multi-Process Scheduling)

MPS多程度调节，动作CUDA应用门径编程接口的不凡二进制兼容版块，自Kepler的GP10架构起，由NVIDIA引入。它赋予多个流或CPU程度同期向GPU放射Kernel函数的才能，将之剖析为单一应用凹凸文在GPU上履行。这一改进计谋显赫普及了GPU的垄断率，已毕了更高效的策画处理。

当使用MPS时，MPS Server和会过一个 CUDA Context 料理GPU硬件资源，多个MPS Clients会将他们的任务通过MPS Server 传入GPU ，从而逾越了硬件期间分片调节的落幕，使得他们的CUDA Kernels 已毕确切道理上的并行。但MPS由于分享CUDA Context也带来一个致命劣势，其故障芜杂差，若是一个在履行kernel的任务退出，和该任务分享share IPC和UVM的任务一会一同出错退出。

八、rCUDA

rCUDA指remote CUDA，是资料GPU调用决策，支撑以透明的时势并发资料使用CUDA 拓荒。rCUDA提供了非GPU节点侦探使用GPU 的时势，从而不错在非GPU 节点初始AI应用门径。rCUDA是一种C/S架构，Client使用CUDA初始库资料调用Server上的GPU接口，Server监控肯求并使用GPU履行肯求，复返履行落幕。在骨子场景中，无需为腹地节点确立GPU资源，不错通过资料调用GPU资源从而无需关切GPU场所位置，黑白常紧要的才能，芜杂了应用和GPU资源层。

九、vCUDA

vCUDA选拔在用户层羁系和重定向CUDA API的时势，在VM中诞生pGPU的逻辑映像，即vGPU，来已毕GPU资源的细粒度永诀、重组和再垄断，支撑多机并发、挂起复原等VM的高等特色。vCUDA库是一个对nvidia-ml和libcuda库的封装库，通过劫持容器内用户门径的CUDA调用落幕面前容器内程度对GPU 算力和显存的使用。vCUDA优点是API开源，容易已毕；污点是CUDA库升级快，CUDA 库升级则需要不停适配，老本高；另外芜杂不准确无法提供算力精确落幕的才能、安全性低用户不错绕过落幕等。面前市面上厂商基本上王人是选拔vCUDA API转发的时势已毕GPU算力池化。

十、GPU算力池化云原生已毕

GPU池化（GPU-Pooling）是通过对物理GPU进行软件界说，剖析了GPU虚构化、多卡团员、资料调用、动态开释等多种才能，措置GPU使用效率低和弹性推广差的问题。GPU资源池化最理念念的决策是屏蔽底层GPU异构资源细节(支撑英伟达和国产各厂商GPU) ，分离表层AI 框架应用和底层GPU类型的耦合性。不外面前AI框架和GPU类型是紧耦合的，尚莫得已毕的决策空洞出一层能屏蔽异构GPU。基于不同框架开发的应用在移动到其他类型GPU时，不得不再行构建应用，至少得移动应用到另外的GPU，经常需要再行的适配和调试。

GPU虚构化与池化的中枢在于算力和故障的芜杂。这不错通过硬件芜杂，如空分时势，MPS分享CUDA Context时势以及Time Sharing时刻时势已毕。底层的芜杂成果尤为显赫，举例MIG硬件算力芜杂决策，这是一种高效的硬件资源芜杂和故障芜杂计谋。

但硬件拓荒编程接口和驱动接口经常是不公开的，是以对厂商依赖大，实施的难度十分大，纯真性差，如支撑Ampere架构的A100等，最多只可切分为7个MIG实例等。NVIDIA MPS是除MIG外，算力芜杂最好的。它将多个CUDA Context合并到一个CUDA Context中，省去Context Switch的支出并在Context里面已毕了算力芜杂，但也致独特的故障传播。MIG和MPS优污点王人十分昭着，骨子工程顶用的并不重大。选拔API转发的多任务GPU期间分片的已毕模式相对容易已毕和应用最广。

垄断AI应用对GPU的调用端倪，咱们不错已毕多端倪的资源池化才能。从CUDA层、Diver层到硬件拓荒层，各式空洞端倪王人能灵验将需要加快的应用转发至GPU资源池中。总的来说，底层转发性能亏蚀最小，操作规模平方；但同期，编程使命量也随之增多，难度提高。

十一、云原生调节GPU算力

跟着云原生应用的大规模实施，GPU算力资源池化需具备云原生部署功能，如支撑Kubernetes、Docker就业。通过K8s Pod与GPU资源池按需创建的vGPU绑定，已毕Pod中的应用履行。不管是英伟达照旧国产GPU，扫数显卡均可纳入算力资源池。面前，咱们已已毕不同显卡的分类，并笔据不同框架应用需求，智能调节至相应GPU算力池。

普及资源料理效率，已毕算力资源池的资源、财富料理与初始监控。优化调节才能，裁减GPU资源碎屑，知足AI应用需求飞快增长的挑战。未来，算力资源池化将成企业关切焦点。

Kubernetes（K8S）动作一款不凡的容器编排平台，其弹性伸缩特色赋予其无可相比的上风，使得底层资源得以充分垄断。在科技产业界，大模子推理和微调试验的需求激增，而Nvidia专科显卡供应殷切，形成了光显的矛盾。

在面前的矛盾环境下，将NVIDIA显卡与K8S容器平台奥密剖析，构建一个高效的GPU算力调节平台，无疑是措置这一挑战的最好计谋。这种剖析大概充分挖掘每块显卡的后劲，借助Kubernetes的弹性伸缩特色，已毕对GPU算力的智能调节和料理，为大规模AI模子的试验和推理提供坚实的基础撑持。

在Kubernetes容器平台上，咱们不错通过其广大的资源调节和分拨机制，对GPU集群的算力进行高效料理。Kubernetes具备丰富的资源料理功能，杰出支撑如GPU等特地资源类型的料理。以下是在Kubernetes中已毕GPU资源管控的中枢法子和重要办法：

1. GPU 插件支撑：

Kubernetes无法成功掌控GPU资源，但NVIDIA GPU Device Plugin插件能弥补这一短板。此插件认真将GPU资源注册至Kubernetes，使其大概精确识别并高效料理。借助此插件，Kubernetes的GPU料理才能得以显赫普及。

2. GPU 拓荒声明：

在集群节点上部署NVIDIA驱动、CUDA器具包等重要组件，并激活NVIDIA GPU拓荒插件，即可及时稽察可用的GPU资源。

3. 资源请乞降落幕：

开发者在编写Pod或Deployment的yaml文献时，不错通过

优化后：探索NVIDIA GPU资源落幕，侦探".spec.containers[].resources.limits.nvidia.com/gpu"。

通过".spec.containers[].resources.requests.nvidia.com/gpu"，您不错精确指定对GPU资源的需求。

"limits"循序了容器可使用的GPU上限，而`requests`则设定了初始所需的最小GPU数目。

4. 调节决策：

Kubernetes调节器在派发Pod时，会兼顾资源肯求与落幕，确保遴选的节点领有足够的GPU资源。它把GPU视为一种独到的资源进行优化调节。

5. 监控与计量：

垄断Prometheus和Grafana等监控器具，及时掌持GPU垄断率等重要数据，已毕恒久深度分析。助力料理员精确分拨与优化GPU资源，普及系统性能。

6. GPU芜杂：

垄断MIG（Multi-Instance GPU）等先进期间，咱们能邃密永诀GPU资源粒度，已毕邃密的GPU资源芜杂和分拨，普及资源使用效率。

7. 动态扩缩容：

垄断Horizontal Pod Autoscaler (HPA)等广大器具，咱们不错笔据GPU的垄断率或其他自界说参数，已毕Pod数目的自动融合。这么，GPU资源就能得到智能的动态扩缩容。

垄断这些计谋，Kubernetes集群能高效地料理和分拨GPU资源，已毕对GPU集群算力的邃密化料理。

CUDA：

NVIDIA推出的CUDA（Compute Unified Device Architecture）是一款并行策画平台和编程模子，它充分垄断了NVIDIA GPU的广大并行策画才能，从而显赫加快应用门径的履行。CUDA提供了一套丰富的编程接口和器具，让路发者能以表率的C/C++编程谈话编写出高效的GPU加快门径。

波多野结衣作品集

RootFS：

根文献系统（Root Filesystem），是Linux系统启动后首个加载的文献系统，位于文献系统的顶层。它汇注了操作系统的中枢文献和目次结构，涵盖了/bin、/sbin、/etc、/lib、/dev、/proc、/sys等重要部分。

在K8S容器平台上，一个典型的GPU应用软件栈如下：顶层是多个包含业务应用的容器，每个容器王人包含业务应用、CUDA器具集（CUDA Toolkit）和容器RootFS；中间层是容器引擎（Docker）和装配了CUDA驱动门径的宿主机操作系统；底层是部署了多个GPU硬件显卡的就业器硬件。

主要组件：

CUDA 器具集，囊括 nvidia-container-runtime(shim)、nvidia-container-runtime-hook 与 nvidia-container library等紧要组件，以及CLI器具。这一系列广大器具，为您的AI策画提供无缝支撑，开启高效编程新篇章。

通过对比CUDA器具集镶嵌前后的架构图，咱们不错直不雅地识别各组件的位置以过甚功能，从而瞻念察其内在机制。

图示：CUDA toolset 镶嵌前的容器软件栈

图示：CUDA toolkit 镶嵌后的容器软件栈

nvidia-container-runtime(shim)：

该组件也曾是 runc 的一个完整分支，其中注入了特定于 NVIDIA 的代码。自2019年以来，它依然成为装配在主机系统上的本机 runC 的一个轻量级包装器。nvidia-container-runtime 袭取 runc spec动作输入，将 NVIDIA 容器初始时钩子（nvidia-container-runtime-hook）动作预启动钩子注入其中，然后调用本机 runc，并传递修改后的具有该钩子诞生的 runc spec。关于 NVIDIA 容器初始时 v1.12.0 版块及更高版块，这个初始时（runtime）还对 OCI 初始时表率进行了独特修改，以注入特定的拓荒和挂载点，这些拓荒和挂载点不受 NVIDIA 容器 CLI 欺压。

nvidia-container-runtime-hook：

这个组件内嵌了一个可履行文献，专为 runC 预启动钩子打造。当容器创建后、启动前，runC 会主动调用此剧本，并授予其对关连的 config.json（如：config.example.json）的完全侦探权限。接着，它精确提真金不怕火 config.json 中的重要信息，并以此动作参数，激活 nvidia-container-cli CLI器具，佩戴一组哀感顽艳的象征。其中，最重要的象征即是指定应注入该容器的特定 GPU 拓荒。

nvidia-container library 和 CLI：

这些组件为GNU/Linux容器的NVIDIA GPU自动确立提供了库和CLI实用器具。其内核原语依赖性假想，确保与任何容器初始时的兼容性。

K8S 侧：Device Plugin

在Kubernetes（K8S）中，拓荒插件(Device Plugin)是一种广大的推广机制，它认真将节点上的各种拓荒资源（如GPU、FPGA、TPU等）无缝整合到Kubernetes的资源料理体系。通过拓荒插件，集群料理员能放手地将这些拓荒资源知道给Kubernetes API就业器，从而让集群内的Pod大概借助资源调节机制，充分垄断这些拓荒资源。这不仅普及了资源垄断率，也进一步优化了应用性能，已毕了资源的高效料理。

-对此，您有什么看法视力？-

-接待在驳倒区留言考虑和分享【ONED-976】ギリギリモザイク 6つのコスチュームでパコパコ！ Ami。-