xiaoqing blogAI基础设施初创公司调研
2025年了，我才开始调研AI基础设施提供商，感觉有点晚。而我调研主要目的，看是否有机会参与AI这波浪潮。
AI基础设施服务分为：提供技术服务、解决方案，提供IaaS服务（提供gpu）、PaaS、SaaS服务。
服务商想提供技术服务和解决方案，需要强大的市场推广和销售团队。而提供IaaS、PaaS、SaaS产品不需要那么多市场销售团队。
各大云厂商都很成熟（提供AI方面的服务），而新的创业公司的出现，说明市场出现新的机会。我更关注是针对研究人员、小型企业和开发人员，提供AI基础设施方面的创业公司。
这些公司分为提供Iaas服务、提供SaaS服务、提供代理。
1 偏向于提供Iaas服务
Runpod：
- 提供CPU和GPU按小时计费，一键部署Serverless endpoint，同样按小时计费。用户可选Secure Cloud（高可靠性数据中心）或 Community Cloud（P2P 社区资源）来租借GPU。
- 模式：IaaS、Paas
Hyperbolic：
- 提供GPU租借和Serverless 服务、P2P GPU 市场。
- 模式：IaaS、SaaS
Vast.ai：
- 全球最大P2P GPU 市场，Serverless（需要代码集成它的autoscaler服务）
- 模式：IaaS、PaaS
Lambda Labs：
- 提供gpu云和Inference API服务（声称全世界最便宜）。销售GPU硬件、技术支持和服务。
- 模式：IaaS、SaaS
2 偏向于提供SaaS服务
Replicate：
- 提供Inference API服务、自定义部署模型
- 模式：PaaS、SaaS
Hugging Face：
- 提供模型仓库（类似GitHub），Transformers 库、数据集托管、 AI 应用开发工具 、Inference API、自定义部署模型、模型调优
- 模式：PaaS、SaaS
deepinfra：
- 提供Inference API服务、自定义部署模型
- 模式：PaaS、SaaS
Groq ：
- 提供GroqRack解决方案（包括软硬件），以 LPU 为核心的云服务（Inference API）
- 模式：SaaS
Fireworks AI：
- 提供Inference API服务、自定义部署模型、微调服务
- 模式：PaaS、SaaS
Lepton AI：
- 提供Inference API服务、自定义部署模型、Dev Pods、运行训练任务
- 模式：PaaS、SaaS
fal.ai
- 提供Inference API服务、自定义部署模型
- 模式：PaaS、SaaS
3 代理模式
3.1 API代理
这类型的平台不直接提供Inference API，而是将用户请求路由到各家提供Inference API的平台。
OpenRouter：
- 提供统一 API 接口，提供与 OpenAI API 兼容的接口。
- 智能路由与负载均衡，根据价格、性能和可用性自动路由请求到最佳提供商。
3.2 代理部署
NVIDIA brev：
AI 和机器学习开发者提供云端开发环境的平台，旨在简化 GPU 实例的设置和使用。
Launchables提供预配置的计算和软件环境，开发者可以一键部署特定 AI 任务到各种云平台（AWS、GCP、Lambda-Labs）。
GPU 沙盒提供完整的虚拟机环境。
CLI连接本地工具到云端实例。
skypilot：
一个开源的 AI 和批处理工作负载管理框架
统一执行：在任何云或 Kubernetes 集群上运行 AI 和批处理任务，无需修改代码。
成本优化：自动选择最便宜的区域、云或实例类型（包括 Spot 实例）。
高可用性：通过自动故障转移和资源调度，确保 GPU/TPU 等稀缺资源的访问。
支持生命周期：覆盖 AI 开发的整个流程，包括训练、微调、推理和在线服务。
4 总结
AI基础设施创业公司的业务模式，提供云服务器，有提供Inference API 、还有提供模型开发、微调服务，更有甚者直接提供推理服务的代理。还有（上面没有提到），提供MLOPS平台、模型训练平台，这些都是针对大型企业和研究机构。
各家特点优势
| 平台 | 优势 |
|---|---|
| Runpod | 成本低、灵活性高、社区云支持 |
| Hyperbolic | 高性价比 GPU、开源模型支持、提供GPU出租 |
| Vast.ai | 超低价格、去中心化 GPU 租赁 |
| Lambda Labs | 高性能 GPU、快速冷启动 |
| Replicate | 易用性高、快速部署开源模型 |
| Hugging Face | 庞大模型生态、托管推理简单 |
| DeepInfra | 云托管大模型、管理简单 |
| Groq | 超快推理速度、LPU 硬件优化 |
| Fireworks AI | 多模态支持、高速推理 |
| Lepton AI | 快速部署、低成本推理 |
| fal.ai | 生成式媒体、超快推理 |
| OpenRouter | 多模型路由、无订阅费用、按量收费 |
5 如何入局
可以发现这个赛道，基本已经是红海了。我推算过，利用公有云来构建Inference API服务，维持盈亏平衡都很难。所以需要自己建数据中心来降低成本、或利用p2p闲置GPU来降低价格 。这些初创公司都在融资，烧VC的钱来买GPU、建数据中心。
现在像我这样的普通人，没有雄厚的资金来掌握GPU资源。想入局的AI基础设施，只能在软件方面下功夫，从成本上做优化，或性能上做优化，或者发现新的需求点做深做精，打差异化竞争。
想提供Inference API服务，只能在公有云上构建，但是公有云的GPU价格昂贵且性能不好，想通过成本上进行优化，从而得到一个市场竞争优势，是相当难。replicate的价格明显会比其他家的贵，大概可以推断出它是在公有云上构建的服务。
所以现在投入AI基础设施这个赛道，在构建Inference API服务方面，作为代理模式是最低成本、比较容易的方式进入这个赛道。但是很多Inference API提供商，对中国支付渠道进行限制，甚至限制虚拟信用卡。技术难度不大，最大难度是搞定海外支付和推广问题。解决海外支付，可能需要在海外创建公司，并解决账单地址、信用卡问题。
还有其他思路，通过构建社区生态来吸引用户，比如开源非专业人士也能使用 AI 工具、提供集成GitHub、AWS的插件和扩展，让企业能够轻松集成进现有工作流。
我对云原生基础设施熟悉，但是对于机器学习、深度学习，大模型这些领域不熟悉。想用云原生基础设施来构建AI基础设施，成本优化和性能优化可能是突破点。利用好开源生态也是一个突破点。既然没有资本，那么只能技术作为突破口。