BMA 2026 暑期分享 · Part 1

BMA 大模型与 Agent 基础

一句话路线图:大模型是什么 → 行业怎么分层 → Agent 在哪、怎么转 → 怎么从 Prompt 升级到真·能干 → 钱从哪来。

BMA 出品 从能想到能干 产业四层一张图 Agent ≠ Chatbot
Q1大模型到底该怎么理解?
Q2AI 产业分几层?每层谁在牌桌上?
Q3Agent 和 Chatbot 到底差在哪?
Q4怎么从 Prompt 工程升级到构建 Agent?
01

认识大模型 —— 基础篇

本质是「预测下一个词」的超级函数。听起来朴素,干起来很贵。

1.1 是什么

超级函数:猜下一个词

输入「今天天气……」→ 模型猜「真……」→ 「不错」。

像一本把人类公开知识压扁的字典——不一定「懂」世界,但记得「哪个词常跟哪个词」。

靠预测 token,顺手学会了语法、逻辑、常识和推理。能写、能编、能译、能想、能整活。

1.2 怎么训

三件套:数据 · 算力 · 算法

  • 数据(教材):网页、代码、论文、对话。2026 高质量公开数据几乎挖干。
  • 算力(自习时长):GPU 集群跑几个月。NVIDIA 遥遥领先,国产在追。
  • 算法(学习法):Transformer + 强化学习;重心从预训练转向后训练。
2026 风向:大家对「怎么训」降温,对「怎么用」升温。
1.3 生成参数

调参三件套 + 深度思考

  • Temperature:胆量。0 稳,1 野。
  • Top K:候选词宽度。K 越小越怂。
  • Top P:概率覆盖广度。P 越高花样越多。
  • Deep Thinking / CoT:边想边说,先推理再结论。
人话:Temperature 管胆子,Top K 管宽度,Top P 管广度。

🎓 训练四阶段:从「会说话」到「能干活」

① 预训练最贵 99% 成本

Pre-training · 像小孩读整座图书馆

海量无标注文本(约万亿 token),学会「人类说话」。能续写,但还不会听话办事。成本约 $5万–$500万,成百上千 GPU,数周到数月。

② SFT最实用 · 多数团队停这

监督微调 · 教它考试答题格式

「问题 + 标准答案」示范,500–5000 条高质量人工问答即可。1 张 GPU、1–4 小时,成本约 $100–$500。模型开始正经答题。

③ RLHF对齐 · 别乱说话

人类偏好对齐 · 什么该说、什么别说

人给回答打分排序,训出奖励模型再优化主模型。数万条偏好数据,成本约 $5千–$5万。

④ 量化工程 · 塞进口袋

压缩部署 · 变「口袋书」

权重从 FP16 压到 4-bit,体积约缩 75%(如 140GB → 35GB)。GGUF / GPTQ / AWQ。成本 ≈ $0,笔记本也能跑。

02

AI 产业四层框架

一张图搞清:谁付钱、谁赚钱、壁垒在哪。

L3 应用与终端层 · 价值交付,离用户最近
钱最先从这里进来
编程:Copilot / Cursor 搜索:Perplexity / Nano 办公:M365 Copilot 创作:Midjourney / Sora 具身/穿戴:机器人 · AI 眼镜
L2 中间件与平台层 · 降低开发门槛,连接模型与应用
框架:LangChain / AutoGPT MCP 协议 低代码:Coze / Dify / 百炼 RAG:Pinecone / Milvus
L1 基础模型层 · 智力供给,开源闭源并存
海外:GPT / Claude / Gemini / Llama 国内:DeepSeek / 千问 / 豆包 / 混元 / 文心 / Kimi / GLM / 零一
L0 算力基础设施 · 硬件 + 云
GPU:NVIDIA(遥遥领先) 国产:昇腾 / 寒武纪 / 壁仞 云:AWS / GCP / 阿里云
钱怎么流:下游养活上游 —— 应用层赚钱 → 平台抽成 → 模型收 API 费 → 算力卖 GPU。
Agent 位置:横跨 L1–L3,不是某一层的独占物种。
03

Agent 在赛道中的位置

不是产品名,是一种范式:让模型从「能想」变成「能干」。

📍 Agent 在哪一层?

公式:Agent = LLM 推理 × MCP 工具 × 应用场景
落在:L1 模型层 + L2 平台层 + L3 应用层
  • 模型公司往下延伸:OpenAI Operator、Claude Code
  • 平台公司横向连接:Dify、Coze / 扣子
  • 应用公司打穿场景:Cursor、Manus、Devin

⚔️ Chatbot vs Agent

ChatbotAgent
交互一问一答,无记忆多轮自主循环
输入输出文本进 → 文本出调工具、读写文件
结束条件答完就停做错了会重来
公式:Agent = LLM + 工具 + 记忆 + 规划

🔄 核心运作:感知 → 规划 → 执行 → 反思

感知理解任务
规划拆解步骤
执行调用工具
反思检查纠错

每轮迭代,逼近最优解(ReAct Loop 的灵魂)

🚧 当前能力边界(2026.7)

✅ 能干

代码生成、搜索、文件操作、API 调用

⚠️ 半能干

长链推理、多步规划、跨平台操作

❌ 还不行

完全自主决策、物理世界操作

2023 Chat 2024 Copilot 2025 Agent 2026+ Multi-Agent 端侧 Agent
04

如何构建 Agent

升级路线:Prompt → Skill → Sub-agent → Multi-agent。

入门

Prompt Engineering

精确表达、Zero/Few-shot、CoT。角色 + 任务 + 格式 + 约束。

进阶

Skill 技能包

把知识封装成可复用工具集,接知识库 + 工作流。

高阶

Sub-agent

主 Agent 分发,子任务各由独立 Agent 专岗处理。

前沿

Multi-agent

多 Agent 自主协商分工,层级 / 辩论 / 自由协作。

✍️ Prompt 进化路线

基础 Prompt 角色设定 规则约束 多轮对话 工具调用 = Agent

Zero-shot(不给例子)· Few-shot(给 2–3 个格式清晰的例子)· CoT(Let's think step by step)· 结构化提示(角色+任务+格式+约束)

🏗️ 三种 Multi-agent 架构

层级式

Boss 派活,小弟汇报。适合流水线:Code Review = Master → Code → Test → Deploy。

辩论式

并行出方案再投票。适合创意/分析:策略讨论那种「吵出最优解」。

自由协作

自己谈、自己排期。适合开放复杂任务:前后端+测试互相对接那种全栈乱炖。

实战流水线:用户需求 → PM Agent 拆任务 → Dev 写代码 → Test 跑测 → Ops 部署 → 完事儿。传说中比真人部门沟通还顺?自己试了才知道。

构建原则:给足上下文 · 小步快跑 · 规则清晰 · 先跑通再优化 · 拆得越细越好控。
核心公式:Model + Harness(框架)= Agent(ReAct Loop)

🔭 下一步研究热点

  • 长程任务:指令/记忆丢失(如 nanoBot)
  • 自我进化:跨任务积累经验(如 OpenSpace)
  • AI Native 交互:从 GUI 回到 CLI 风格(如 CLI-Anything)
  • 多 Agent 集群:协作效率 vs 协调成本
  • 评测工程:准确、安全、一致 —— Agent 能进真实世界的前提
05

AI 工具全景矩阵

横向看功能,纵向看怎么赚钱。

🧩 按使用功能(随便点菜)

对话/助手写作/文案图像视频 编程/开发搜索/研究数据分析设计/创意 法律医疗金融/财税营销 音频社交/陪伴教育客服/CRM Agent/自动化办公翻译硬件/端侧
类别代表商业模式特点
通用对话 / AI 搜索 ChatGPT · Kimi · 豆包 · Perplexity 免费引流 + 订阅变现(双轨)
AI 编程助手 Copilot · Cursor · Claude Code · 通义灵码 · Trae 免费入口 + 订阅核心 + 企业定制 · 商业化最成熟
AI 内容创作 Midjourney · Sora · Suno · 可灵 · 即梦 会员订阅 + 按量充值 · 重度依赖创作者
垂直行业 Agent 金融投研 · 法律文书 · 医学影像 · 教育辅导 企业定制/私有化 · 效果付费仍在探索
企业协作 / 低代码 Coze · Dify · 钉钉 AI · Salesforce 免费试用 + 订阅 + API · B 端 SaaS 逻辑
实体智能 具身机器人 · 自动驾驶 · 智能硬件 硬件销售 + 企业合作 · 软件模式仍在探

💰 按商业模式

  • SaaS 订阅 · Freemium · API 按量
  • 免费 + 广告/数据 · 硬件捆绑
  • 开源 + 商业版 · 按效果 RaaS
  • 平台抽佣 · 项目定制 FDE
  • 1 免费/流量:吸用户,广告或生态变现
  • 2 订阅付费:按月/年,SaaS 化
  • 3 按量/API:弹性定价
  • 4 企业定制:私有化 + 定制开发
  • 5 效果/佣金:按业务结果分成
两个趋势:离用户越近(编程助手、AI 搜索),订阅越成熟;越垂直(金融、医疗),越吃企业定制和效果付费。
2026 最确定的变现:仍是「订阅 + 企业」;效果付费还在早期验证。
📚

去哪继续学

资讯、硬核、商业、实操 —— 挑口感下饭。

📰 核心资讯

  • X AI 圈:Sam Altman、Karpathy、LeCun、Harrison Chase、吴恩达 —— 一手动态
  • 机器之心 / 量子位:国内权威 AI 媒体与深度编译

🔬 硬核技术

  • 实验室 Blog:OpenAI · Anthropic · DeepMind · 智源 BAAI
  • Latent Space:硅谷工程师硬核播客 / Substack
  • HF Daily Papers:开源与论文趋势雷达

💼 商业与投资

  • a16z / 红杉:Market Map 与商业逻辑
  • 晚点 / 极客公园:国内创投与大厂战略
  • 《硅谷101》《乱翻书》:创业者与投资人长谈

🛠️ 实操社区

  • WaytoAGI:保姆级实操知识库
  • GitHub Trending:盯 Python / TypeScript 的 Agent 框架
  • Discord:Midjourney / LangChain / Cursor 官方修 Bug 现场