存储感知的机器学习应用部署

摘要

分布式应用的应用部署方法，包括：从多个异构存储环境中识别包含可被分布式应用某一部分利用的数据的存储环境；以及在包含所识别存储环境的计算节点上启动该应用部分的执行。该方法通过存储感知策略优化机器学习应用在分布式系统中的部署位置，将计算任务与数据存储位置相关联，以减少数据传输开销和网络延迟。系统支持识别多个异构存储后端（如本地存储、云存储、分布式文件系统等），并根据数据位置自动选择最优的计算节点执行相应的应用模块。该方法特别适用于大规模机器学习工作负载，通过数据本地性优化显著提升应用性能和资源利用效率。相比传统的随机部署或基于计算资源的部署策略，存储感知部署可降低I/O成本，改善系统吞吐量。

相关专利