近期，DataFunSummit2024：大模型技术峰会圆满落幕。此次峰会以“探讨AI时代的新质生产力”为主题，吸引了人工智能领域内的诸多专家、学者、技术开发者及行业头部企业代表参与，并围绕AI大模型技术在专业领域的实际应用与落地展开了深入交流。滴普科技受邀参加本次活动，并在「大模型训练推理」论坛上进行了内容分享。

在当前复杂多变的商业环境中，仅依靠基础AI大模型架构和提示词难以满足企业多元化的切实需求。而微调作为一种优化方式，可让AI大模型深入理解问题，提供更为精确回答，并展现推理过程，更好地服务于企业的实际需求。

论坛上，滴普科技以自身服务某国内工程设计服务业的头部企业为例，阐述了基于微调方式下Deepexi滴普企业大模型在知识问答领域的一些落地实践：

语料处理方面：

对内部文档和国家标准规范等语料进行解析、切片、清洗等加工。
构建 DocAI平台实现 PDF 文档解析，并生成 2 万至 3 万切片。
基于切片和客户样例，通过大模型生成问答构建训练数据集。
通过大模型优化萃取数据，清理约 1/10 不符合要求或异常的数据。

模型微调方面：

优化提示词，满足回答风格、多本书内容引用等需求。
构造特定推理数据，实现多级推理，如表格数据的读取和基于注释的推理。
基于数据质量进行微调，不断优化微调数据，通过评估结果迭代。
针对训练次数、学习率、预热、模型最大输入token长度等参数对模型进行多轮微调优化。

框架优化方面：

基于国产化芯片自研推理框架服务，并进行性能优化，支持批量并行推理和多轮对话。

模型评估方面：

通过大模型进行自动化评估，降低人工评估工作量。
通过LLM评估当前模型的输出，建立清晰的评估指标，评估步骤，输出格式。

基于微调方式，Deepexi滴普企业大模型能提供详细的回答来源与推理过程，增强整合信息的能力，理解并推理复杂数据，如表格，同时提高输出的稳定性和准确性，为这家工程设计服务业的头部企业在文档分析理解、专业文档辅助生成、专业图纸校审以及专业问题对答纠错方面提供了帮助，有效提升工程建筑设计的效率与质量。

Deepexi滴普企业大模型是滴普科技的数据智能基础设施平台产品，基于国产算力落地多模态模型工程，已赋能工业制造中的产品研发、生产制造、供应链管理、服务运营等多个核心领域，且通过信通院模型能力标准符合型4+级认证。并于今年入选《2024年人工智能先进技术成果汇编》和“2024人工智能大模型工业制造场景应用典型案例”。未来滴普科技将持续践行“Data+AI”战略，在工业制造等行业的核心领域中发扬自身优势，助力合作伙伴企业的新质生产力发展。