ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

CANN/ge AOE优化参数配置

CANN/ge AOE优化参数配置 AOE【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/gege.mdl_bank_pathAscend 950PR/Ascend 950DT不支持该参数。加载子图调优后自定义知识库的路径。该参数需要与ge.bufferOptimize参数配合使用仅在数据缓存优化开关打开的情况下生效通过利用高速缓存暂存数据的方式达到提升性能的目的。参数值模型调优后自定义知识库路径。参数值格式支持大小写字母a-zA-Z、数字0-9、下划线_、中划线-、句点.。参数默认值$HOME/Ascend/latest/data/aoe/custom/graph/soc_version使用约束加载子图调优后自定义知识库路径优先级ge.mdl_bank_path参数加载路径TUNE_BANK_PATH环境变量设置路径默认子图调优后自定义知识库路径。如果模型编译前通过TUNE_BANK_PATH环境变量指定了子图调优自定义知识库路径模型编译时又通过ge.mdl_bank_path参数加载了自定义知识库路径该场景下以ge.mdl_bank_path参数加载的路径为准TUNE_BANK_PATH环境变量设置的路径不生效。ge.mdl_bank_path参数和环境变量指定路径都不生效或无可用自定义知识库则使用默认自定义知识库路径。如果上述路径下都无可用的自定义知识库则会查找子图调优内置知识库该路径为${INSTALL_DIR}/arch-linux/data/fusion_strategy/built-in_arch_请替换为具体操作系统架构。必选/可选可选生效级别全局/session/graphge.op_bank_pathAscend 950PR/Ascend 950DT不支持该参数。算子调优后自定义知识库路径。参数值格式支持大小写字母a-zA-Z、数字0-9、下划线_、中划线-、句点.。参数默认值${HOME}/Ascend/latest/data/aoe/custom/op使用约束加载算子调优后自定义知识库路径优先级TUNE_BANK_PATH环境变量设置路径ge.op_bank_path参数加载路径默认算子调优后自定义知识库路径。如果模型转换前通过TUNE_BANK_PATH环境变量指定了算子调优自定义知识库路径模型编译时又通过ge.op_bank_path参数加载了自定义知识库路径该场景下以TUNE_BANK_PATH环境变量设置的路径为准ge.op_bank_path参数加载的路径不生效。ge.op_bank_path参数和环境变量指定路径都不生效前提下使用默认自定义知识库路径。如果上述路径下都无可用的自定义知识库则会查找算子调优内置知识库。必选/可选可选生效级别全局/session/graph【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表