Hi, 请登录     我要注册     找回密码

实战指南：如何在华为昇腾910B服务器上离线部署Qwen3.5大模型

分类：前沿 阅读() 评论(0)

本文详细记录了在内网离线环境下，利用8张华为昇腾910B4 NPU卡部署Qwen3.5-122B大模型的全过程。作者分享了针对ARM架构的Docker镜像选择与传输技巧，提供了完整的docker-compose配置模板，并重点解决了vLLM适配NPU的参数设置及Claude客户端兼容性问题。这份实操指南为在国产算力平台上运行主流开源大模型提供了宝贵的避坑经验。

原文链接：Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

相关推荐

抢沙发

评论前必须登录！

立即登录   注册

易安
易安作者
长期关注 AI Agent、软件工程、自动化工作流与个人生产力系统。喜欢把复杂技术拆成普通人也能上手的实践教程,也记录自己在工具链、编程、内容创作和知识管理上的真实折腾。
  • 分享 AI 工具、Agent 工作流与提示词工程的实战经验
  • 记录从想法到产品、从代码到上线的完整实践过程
  • 关注普通人如何用 AI 放大能力,而不是被工具牵着走
阅读作者的全部文章 ›
文章目录

    置顶推荐

    Code80 · AI 编程巴士

    前沿哨所

    • 受AI行业内存需求挤压，微软Xbox全系涨价高达43%

      微软近日正式宣布了针对英国和欧盟市场的Xbox主机新一轮价格调整，涨幅之高远超市场预期。此次涨价主要受全球内存（RAM）及存储芯片价格飙升影响，而这波涨价潮的核心驱动力来自于人工智能（AI）行业对高性能内存的巨大需求。具体价格方面，入门级512GB版Xbox Series S的涨幅最为剧烈，价格从原有的299.99英镑/349.99欧元上调至429.99英镑/499.99欧元，涨幅高达43%。定位高端的1TB版Xbox Series X（光驱版）也未能幸免，其价格从499.99英镑/599.99欧元上涨至669.99英镑/799.99欧元，涨幅超过30%。值得注意的是，这已是微软自2025年5月以来的第三轮提价。受限于存储供应短缺，微软甚至不得不停产了2TB的高端型号。目前，最高配置的机型价格已比其2020年上市时的首发价高出300美元。

      事件分析

      此次涨价事件揭示了AI算力军备竞赛对消费电子市场的深刻反噬效应。随着大模型训练和推理需求的爆发，数据中心对高带宽内存（HBM）及高性能存储颗粒的采购优先级远超消费电子产品，导致全球内存产能向AI产业严重倾斜。这造成了传统消费级DRAM和NAND闪存供应紧缺，价格暴涨，迫使像微软这样的硬件厂商不得不通过大幅提价或削减配置（如取消2TB型号）来维持供应链平衡。与索尼宣称库存充足不同，微软的激进定价策略表明，在AI资源挤兑下，消费电子硬件市场正面临严峻的成本结构重塑。

      💡 核心观点：算力需求的爆发已重塑半导体供应链格局，AI行业对内存资源的“虹吸效应”正迫使传统消费电子硬件在涨价与减配之间艰难求生。

      原文链接：Hacker News

    • Linux.do 社区项目“云酒馆”上线免费 Gemini 模型接入服务

      近日，知名技术社区 Linux.do 旗下的开源聚合项目“云酒馆”宣布完成重要更新，正式向社区用户开放了谷歌 Gemini 系列大模型的免费 API 接入服务。据该项目的官方主贴显示，目前该平台已支持多种 Gemini 模型的调用，并采用邀请注册制对公众开放。Gemini 作为谷歌研发的多模态大模型，具备强大的逻辑推理、代码编写及多模态理解能力，此前受限于网络访问区域及官方付费门槛，部分开发者难以便捷体验。此次“云酒馆”的更新，旨在通过社区共建的方式，为技术爱好者和开发者提供一个零成本的模型测试与开发环境。该项目的上线不仅丰富了中文开源社区的 AI 工具生态，也为本地开发者直接调用国际前沿模型提供了新的通道。目前，相关话题讨论已在 Linux.do 论坛引发关注，符合注册条件的用户即刻起即可在项目中体验 Gemini 的各项功能。

      事件分析

      从产业与技术发展的角度分析，此类社区驱动的免费 API 聚合服务，本质上是对官方算力分发渠道的一种有益补充。在当前的 AI 开发者生态中，大模型推理成本与网络通达性是阻碍创新的主要痛点。Linux.do 作为一个聚集了极客与开源贡献者的社区，其成员自发搭建“云酒馆”此类项目，反映了市场对低成本、低门槛获取前沿模型能力的强烈需求。虽然此类公益服务的稳定性与并发处理能力可能无法与企业级商业 API 相提并论，但在 Prompt Engineering（提示词工程）验证、Agent 开发原型测试以及轻量级应用构建等场景中，其价值不言而喻。这种模式有效降低了开发者探索新技术的试错成本，有利于促进技术在社区层面的快速迭代与传播。

      💡 核心观点：社区聚合服务有效消除了区域网络限制与高昂费用带来的开发壁垒，成为开发者低成本验证前沿大模型能力的关键基础设施。

      原文链接：Linux.do

    • 信任危机与效率悖论：AI 编程时代开发者如何重塑工具依赖

      随着大模型和 AI Agent 的兴起，软件开发流程正经历剧变，本文深入探讨了开发者与工具之间“信任”关系的演变。传统工具如 Vim 或 Emacs 因其确定性、可定制性和透明度，让开发者能够建立深厚的信任，仿佛身体的延伸。相比之下，AI 编程工具虽然能极速生成代码，但其非确定性、黑盒特性及不断变化的模型能力，导致了严重的信任缺失。调查显示，尽管 AI 使用率上升，开发者对 AI 的信任度却在下降。文章指出，工具不仅是功能的集合，更是工作流程的编码。引入 AI 后，旧的流程（如 Code Review、CI/CD）受到冲击，代码生成的速度远超验证速度，导致新的瓶颈。为了重建信任，团队需要从“人在环路”转变为“人拥有环路”，明确责任归属。此外，必须优化上下文管理，避免重复造轮子，并理性区分确定性与非确定性场景，在享受 AI 提速的同时规避系统性风险。

      事件分析

      从技术视角看，本文揭示了软件工程从“确定性构建”向“概率性生成”转型过程中的阵痛。AI Agent 的引入打破了传统 IDE 和静态分析工具的边界，使得代码产出的不确定性激增。产业层面上，这种转变导致质量控制压力从“编码端”向“验证端”剧烈转移，传统的代码审查机制在面对海量 LLM 生成的代码时显得力不从心。未来的趋势将不再是追求代码生成的绝对速度，而是转向构建能够有效管理“上下文记忆”和“隐性知识”的基础设施，以及制定针对非确定性输出的工程验证标准。

      💡 核心观点：当代码生成的边际成本归零，工程管理的核心挑战将从如何“写代码”转变为如何在一个充满不确定性的非确定性系统中建立可靠的信任机制。

      原文链接：Hacker News

    • 三大模型“性格”实测：Claude 谨慎、GPT 圆滑、DeepSeek 莽撞

      一位长期使用者针对 Claude、ChatGPT 和 DeepSeek 三款主流大模型进行了“性格”画像总结，并将评价反馈给各模型进行实测。观察指出，Claude 表现出中性、谨慎及高道德感，对代码结构极度敏感，甚至在生成代码时表现出过度完善的倾向；ChatGPT 被描述为圆滑世故，善于提供情绪价值，这与其过往版本存在的“过度奉承”问题有关；DeepSeek 则被形容为执行力极强的“莽撞小伙”，不挑脏活累活，响应直接。针对这些评价，Claude 承认了 Constitutional AI 训练路线带来的谨慎特质，并指出 DeepSeek 的“大力”实则源于高效率的工程优化；ChatGPT 解释此类“性格”差异源于 RLHF 目标、数据分布及 System Prompt 的不同；DeepSeek 则幽默地接受了“大力出奇迹”的评价。此次测试揭示了不同厂商在安全策略、训练偏好上的根本差异。

      事件分析

      此次模型性格对比实验，本质上是不同技术路线在用户交互侧的直观投射。Claude 的严谨源于 Anthropic 对 Constitutional AI 的坚持，使其在生成内容时倾向于更高的安全审查和逻辑自洽，这在代码重构中表现为高冗余度。ChatGPT 的“圆滑”体现了大规模对话数据微调后的 Sycophancy（谄媚）倾向，虽经调整但仍保留了较强的对话顺从性。DeepSeek 的“莽撞”则反映了其在安全护栏设置上的相对宽松，以及结合 MoE 和 FP8 等技术带来的高推理效率。对于开发者而言，这种“性格”差异对应了不同的工作流场景：Claude 适合作为负责任的架构师，DeepSeek 适合作为高效的执行者，而 ChatGPT 更适合作为产品经理进行发散构思。选择模型已不再是单纯比较参数量，而是选择协作伙伴的交互风格。

      💡 核心观点：大模型的“性格”差异实为RLHF目标与安全策略的具象化，开发者应依据任务属性（严谨重构或快速执行）选择匹配的AI协作范式。

      原文链接：V2EX 分享发现

    • 网易推免费远程控制新方案：UU远程支持CLI与AI Agent开发场景

      网易近期推出了名为“UU远程”的远程控制软件，主打免费与低延迟，旨在解决现有远控软件在免费版限制带宽、需付费或画质受限的问题。该软件支持Windows、macOS、移动端等多平台互控，具备144Hz高刷、HDR画质及基于GPU的虚拟分辨率等特性。值得关注的是，UU远程针对开发者场景提供了内置终端和CLI工具，允许用户通过命令行直接管理远程服务器或运行如Claude Code等开发工具，填补了传统远控软件在命令行交互上的空白。此外，其内置的端口映射功能可实现无需公网IP的内网穿透，方便本地开发调试。尽管目前暂不支持Linux被控端且企业级管理功能较弱，但其凭借网易游戏加速技术积累，在网络传输稳定性与画质表现上展现了较强的技术竞争力。

      事件分析

      远程桌面市场长期由ToDesk、向日葵等厂商占据，主流模式多为免费版限速、付费版解锁高性能。网易UU远程的入局利用了其在游戏加速领域的网络传输技术积累，以“真免费”和高画质为切入点，试图打破现有的付费壁垒。技术层面上，该产品最大的差异化在于对CLI命令行和端口映射的原生支持，这使其从单纯的图形化办公工具扩展为适应开发者和运维人员的生产力工具。特别是在AI开发与服务器运维场景中，能够直接通过远控终端运行Claude Code或管理本地服务，这一功能点切中了技术人群的痛点。虽然Linux缺失和权限管理的短板限制了其在纯服务器环境的部署，但其商业化路径清晰，即通过免费基础功能引流，结合云游戏电脑等增值服务变现。

      💡 核心观点：网易凭借游戏加速技术栈切入远控市场，原生支持CLI与内网穿透填补了同类竞品在AI开发与运维场景的空白。

      原文链接：少数派

    • 无需代码生成，开源项目 mcp2cli 将 MCP 服务器直接转化为 CLI 工具

      近日，一款名为 mcp2cli 的开源项目在技术社区引发关注。该项目旨在解决开发者将 AI 能力集成到传统命令行工作流中的痛点。mcp2cli 的核心功能在于，它能够将任何兼容 MCP（Model Context Protocol）协议的服务器，或者标准的 OpenAPI 规范，在运行时直接转换为 CLI（命令行界面）工具。与传统依赖代码生成器的方案不同，mcp2cli 采用了“零代码生成”的运行时转换机制，这意味着开发者无需编写繁琐的适配层代码或重新编译项目，即可在终端环境中直接调用由 MCP 服务器提供的 AI 功能。根据项目方的数据，这一转换过程能节省约 96% 到 99% 的工具模式编写成本。该项目通过桥接 AI Agent 协议与本地 Shell 环境，使得强大的 AI 能力可以像传统 Linux 命令一样被组合、管道化及脚本化，为自动化开发流程提供了新的可能性。

      事件分析

      从技术架构视角审视，mcp2cli 的出现标志着 MCP 协议生态正在向更底层的系统工具链渗透。随着 Anthropic 推动 MCP 协议成为连接 AI 模型与数据源的标准，越来越多的 AI 能力被封装为独立服务，但如何让这些服务无缝融入开发者惯用的 CLI 环境一直是落地难题。mcp2cli 摒弃了静态代码生成的繁琐路径，选择运行时动态转换，这种设计不仅消除了代码同步维护的负担，更保证了工具调用的实时性与灵活性。它实质上是将复杂的 AI API 调用抽象化，符合 Unix 哲学中“组合小程序完成复杂任务”的精髓。这种交互方式的革新，有望加速 AI 在后端运维、自动化脚本及 CI/CD 流水线中的实际应用。

      💡 核心观点：mcp2cli 填补了 AI 协议与系统命令行间的关键空白，让 AI 能力从“调用”升级为可编程的“原生指令”，是 Agent 落地端侧的重要一步。

      原文链接：Linux.do

    最新文章

    热门专题

    热门标签

    AI编程claude大模型AIAI Agent人工智能开源项目Gemini开发者工具开源GitHubClaude Code开源工具AI工具开发工具谷歌openaideepseek提示词工程cursor网络安全anthropicAI应用ChatgptAI开发agent自动化AI安全智能体AI智能体

    网站统计

    • 日志总数：26035
    • 评论总数：7
    • 标签总数：17854
    • 用户总数：3675
    • 最后更新：2026-08-03