AI Front追踪 AI 前沿，发现未来。
简体中文ZH

// 主题信号

基础设施

训练框架、推理引擎、向量数据库、GPU 调度、可观测性等支撑技术。

GPU-Initiated Communication: Dissecting Down to the Bone — Arxiv
Arxiv

GPU-Initiated Communication: Dissecting Down to the Bone

GPU 发起的通信允许 GPU 线程直接将 RDMA 操作发布到网卡。它是 NVSHMEM、NCCL GIN 和 DeepEP 的基础，这些技术支撑着混合专家（MoE）模型中细粒度、低延迟的关键通信需求，但其性能特征和优化方法至今鲜有深入研究。

基础设施研究论文
未知来源

在 Guides & References / AI 下添加"本地运行 LLM"子章节：本地部署的原因与时机、硬件配置（VRAM、KV 缓存、量化）、Ollama、llama.cpp、vLLM / SGLang、桌面端运行器（LM Studio、Jan、Docker Model Runner、LocalAI、MLX-LM）、NVIDIA NIM、开源权重模型系列与许可、LLM 网关（LiteLLM）、推理优化，以及将本地模型与 GitHub Copilot（BYOK）、Claude Code（LLM 网关 / Anthropic 兼容端点）及其他编程助手集成，包含 MathJax、参考文献与一页速查表 PDF

Add "Running LLMs Locally" sub-section under Guides & References / AI: why and when to run on premise, hardware sizing (VRAM, KV cache, quantization), Ollama, llama.cpp, vLLM / SGLang, desktop runners (LM Studio, Jan, Docker Model Runner, LocalAI, MLX-LM), NVIDIA NIM, open-weight model families and licences, LLM gateways (LiteLLM), inference optimisation, and integrating local models with GitHub Copilot (BYOK), Claude Code (LLM gateway / Anthropic-compatible endpoints) and other coding assistants, with MathJax, bibliography and a one-page cheat sheet PDF

AI 代理基础模型
未知来源

在 Guides & References 下添加"AI"章节及其首个子章节"LLM 基础与提示工程"：AI 落地页、LLM 工作原理（token、transformer、训练、采样、上下文、推理、多模态、幻觉）、提示工程与上下文工程、结构化输出、模型选择（基准测试、成本/延迟、开源 vs 闭源），包含 MathJax、参考文献与一页速查表 PDF

Add "AI" section under Guides & References and its first sub-section "LLM Foundations & Prompting": AI landing page, how LLMs work (tokens, transformers, training, sampling, context, reasoning, multimodality, hallucination), prompt and context engineering, structured output, choosing models (benchmarks, cost/latency, open vs. closed), with MathJax, bibliography and a one-page cheat sheet PDF

基础设施开源项目