主题

私有、本地与自托管AI

本地模型、私有化部署模式、自托管推理和混合架构。

15 项内容 (11 篇文章 · 4 个视频)

从这里开始

浏览完整内容之前,先阅读几篇推荐文章。

此主题下的更多内容

8 分钟阅读
文章

连接两台 DGX Spark:QSFP、SSH、RoCE 与 Cluster Assistant

用 QSFP 与 ConnectX-7 连接两台 NVIDIA DGX Spark 的实用指南:相同用户名、免密 SSH、面向分布式工作负载的 RoCE、NVIDIA Sync Cluster Assistant,以及回滚。

高级
8 分钟阅读
文章

DGX Spark 本地推理的现实:内存、技术栈,以及云端何时仍占优势

DGX Spark 的 128 GB 相干统一内存实际意味着什么、如何理解 NVIDIA 约 200B 单节点主张、如何筛选服务技术栈,以及如何设计决定本地推理是否适用的硬件测试。

高级
9 分钟阅读
文章

DGX Spark:是什么、为谁而设,以及对本地智能体改变了什么

对 NVIDIA DGX Spark 的务实解读:NVIDIA 公布的 Grace Blackwell GB10 规格、相干统一内存、ConnectX-7 集群能力,以及何时桌边智能体计算机适合作为私有 AI 方案。

高级
7 分钟阅读
文章

Hermes Agent:它是什么、不是什么,何时该用

清晰梳理 Nous Research 的 Hermes Agent:持久记忆、技能、工具与消息网关,并说明何时聊天机器人已经够用,何时需要智能体运行时。

中级
8 分钟阅读
文章

从 n8n 调用 vLLM 及其他 OpenAI 兼容端点

通过 n8n 的 HTTP Request 节点调用本地 OpenAI 兼容的 /v1/chat/completions 端点,并明确配置身份验证、超时预算、base URL 检查和私有网络边界。

中级
10 分钟阅读
文章

DGX Spark 上的 NemoClaw:部署与安全计划

规划并评估如何在 DGX Spark 的 NVIDIA OpenShell 中运行 OpenClaw、Hermes 或 Deep Agents Code:当前上手流程、策略层、路由推理,以及上线前必须取得的验收证据。

高级
9 分钟阅读
文章

OpenClaw 个人网关设置:安装、初始配置与控制台

OpenClaw 是什么、如何安装并完成自托管多渠道网关的初始配置、在 18789 端口打开 Control UI,以及支持哪些 Node 版本,同时不跳过安全基线。

中级
10 分钟阅读
文章

实验性双 DGX Spark + DeepSeek-V4-Flash + n8n + Hermes 栈

如何评估面向 DeepSeek-V4-Flash 的实验性社区双 DGX Spark 路径:用 n8n 处理确定性流程,用 Hermes 处理需要判断的流程。

高级
37 分钟
视频

Broadcom介绍VMware Private AI Foundation的能力与功能更新

Tech Field Day. 视频将私有AI呈现为分层基础设施:受控算力、隔离环境、Kubernetes、推理容器、模型治理、自助式资源配置、GPU共享和监控。这与文章的提醒直接对应:隐私取决于部署边界、日志、访问控制和运营,而不是“本地”这一个词。

高级
13 分钟阅读
文章

2026 年的微调:以证据为先的 LoRA 和 QLoRA 实验

判断参数高效微调是否合理,治理数据,固定可复现实验,对比留出集与安全结果,并在部署前对服务性能做基准测试。

高级
157 分钟
视频

LLM模型微调:生成式AI课程

freeCodeCamp.org. 课程以Llama 2和Gemma为例介绍量化、LoRA、QLoRA和PEFT。课程提供特定配置的VRAM用量示例。文章要求在所选模型和硬件上进行测量;这些示例不能证明每项适合的任务都不需要集群。

高级
59 分钟
视频

开发LLM:构建、训练与微调

Sebastian Raschka. Raschka的概览介绍微调在模型训练流程中的位置。文章将LoRA作为需通过实验证实价值的方法:在具体任务上测量相对基线的差距,核查资源,并在发布前评估适配器。

高级
32 分钟
视频

使用vLLM与PagedAttention实现高速LLM推理服务

Anyscale. 视频讲解GPU内存浪费60–80%的例子、PagedAttention和批处理。它为文章中质量相当的成本模型提供背景;请测量自己工作负载的容量和利用率。

高级