AI应用加速服务

面向大模型精调和推理部署,提供微调、RAG、API调用等专业服务,提升项目交付能力
  • 首页
  • 服务
  • 服务详情

    1. 适用产品

    AI应用加速服务的覆盖场景为模型训练完成后的推理应用场景,将模型推理服务化并借助大模型应用生成套件完成模型应用落地,为已购买超聚变AI应用加速服务的客户,在规定的服务支持工作时间范围和响应时间内,提供优质的客户服务。具体AI模型应用场景需联系超聚变售前人员进行评估才可提供服务。

    2. 服务描述

    AI应用加速服务是超聚变工程师根据客户需求制定AI模型推理应用适配计划并完成模型推理应用工作,服务内容包括成立需求评估调研、应用加速方案设计、模型适配验证、应用加速实施及模型应用调优、验收上线五个关键步骤。

    在AI应用加速服务准备过程中对业务系统进行兼容性评估,确认可行性并制定详细的应用加速方案、测试方案和应用加速实施计划。应用加速实施过程中,对OS和固件、驱动的兼容提供咨询、技术指导,出现模型推理与应用加速套件不适配问题,提供专业的模型应用调优服务,协助客户解决问题,使项目能够顺利进行。模型应用加速实施完成后协助客户对AI模型开发环境的功能性测试,以保证业务系统后续的正常运行。

    • AI应用加速服务中的双方职责列:
    序号
    服务项
    内容
    超聚变
    客户
    1
    需求评估调研
    信息收集
    S
    R
    实验环境配置确认
    R
    S
    兼容性评估
    R
    S
    2
    应用加速方案设计
    应用加速计划制定
    R
    S
    应用加速整体方案编写
    R
    S
    3
    模型适配验证
    应用加速套件适配修改
    R
    S
    模型适配验证
    R
    S
    模拟应用加速测试
    R
    S
    4
    应用加速实施及模型应用调优
    应急预案制定
    R
    S
    应用加速实施及调优
    R
    S
    业务切换
    S
    R
    5
    验收上线
    验收测试
    R
    S
    模型应用上线
    S
    R
    监控运行
    R
    S
    项目移交
    R
    S

    R:Responsibility; S:Support;

    3. 服务内容

    • AI高性能算子开发服务中的双方职责列表:
    阶段
    关键步骤
    工作内容
    应用加速准备
    需求调研评估
    • 信息收集:明确待应用加速的AI模型开发环境,调研相关软硬件环境、运行状态和关联业务信息
    • 实验环境配置确认:确认现网的实验环境配置情况,评估可行性条件是否满足
    • 兼容性评估:使用工具进行兼容性评估
    应用加速方案设计
    • 设计应用加速方案:根据当前AI模型开发环境信息和兼容性评估,设计详细的应用加速方案,包括:vLLM、MindIE等主流推理框架选型、LangChain、FastGPT、Dify等应用开发框架选项、应用加速策略、适配方案、风险识别、数据迁移和备份等
    • 制定应用加速计划:明确各阶段的工作内容和时间点、资源需求、相关责任人和输出内容
    应用加速实施
    模型适配验证
    • 应用加速套件适配修改:根据兼容性评估报告逐项适配修改,包括:硬件适配、OS软件包/基础库的适配、配置适配、应用软件适配等
    • 模型适配验证:每个兼容性项适配后在业务模拟环境下进行验证,根据实际情况调整应用加速方案
    • 模拟应用加速测试:兼容性适配完成后在模拟环境做模型应用加速预演和业务验证,解决实际应用加速过程中可能遇到的问题
    应用加速实施及模型应用调优
    • 应急预案制定:针对应用加速过程中可能存在的风险提前规划应对措施
    • 实施应用加速:对待加速节点做业务割接,再根据数据备份说明,使用工具对待加速节点的系统/业务数据或配置进行备份,基于应用加速计划、应用加速方案和适配测试报告执行AI模型应用加速部署
    • 模型应用调优:对模型应用加速过程中,出现模型与应用加速套件不适配问题,进行针对性的应用加速套件修订,LangChain、FastGPT、Dify等应用开发框架代码逻辑优化,确保模型应用加速效果满足客户要求
    • 模型推理性能调优:对模型应用加速过程中,出现模型推理的性能不达标问题,有针对性地进行性能调优,推理框架代码逻辑优化,确保首token时延、并发和吞吐率等推理性能指标均满足客户要求
    • 业务切换:依据应用加速计划,执行业务切换,完成AI模型应用加速实施
    验收上线
    验收上线
    • 验收测试:通过工具分别对应用加速后的AI模型开发环境和业务进行功能、性能等测试,确保AI模型开发环境和业务的功能和运行指标正常
    • 模型应用上线:系统测试后,客户确认验收完毕,业务割接上线试运行时提供技术保障,模型部署及业务上线工作内容由客户执行并负责
    • 监控运行:使用工具定期健康巡检,监控运行实时告警,解决可能遗留的适配问题
    • 项目移交:试运行期结束后整体移交客户运维部门,输出移交报告

    4. 服务免责

    • 超聚变服务免责说明如下:

    1、下列情况可能导致超聚变服务不能按要求提供:

    1)不可抗力(如:火灾、水灾、地震、雷击等)引起的意外情况;

    2)社会性问题(如:动乱、战争、罢工、政府管制等)引起的服务条件恶化;

    3)能量供应中断(如:电力、供水、油料等)引起的服务无法实施。

    2、超聚变不提供本文不涉及的任何明确或隐含的商业和技术保证。

    3、任何情形下,超聚变都不因本服务说明书对您的直接或间接经济损失承担责任,超聚变对由于其责任所导致的您的损失的最大赔偿额不高于购买该产品/服务所支付的金额。

    4、本服务是一项可以选择的服务,您可以选择是否购买相关的服务并选择何时终止。如果您选择购买相关的服务,则表示您允许超聚变在提供服务时访问、采集和处理故障、检测、定位、调试相关的信息。超聚变将在您同意的前提下,遵从您的要求访问和处理相关信息。由于您是这些信息的控制者,超聚变无法确认此类信息是否包含您的机密信息或个人数据,应当保证其将根据所适用的法律要求,获得或保留所有必要的同意、许可、授权(“同意”)用于让超聚变提供此服务,使超聚变在提供相关服务时不会违反适用的法律要求、您的隐私政策、或者您与用户的协议。