关键数据
12→1
部门级 API 调用统一为治理网关
一个 8000 人企业的真实案例:多个业务部门各自接了主流大模型 API / 私有化模型 / 国产开源模型。18 个月后,没人说得清一个月调用了多少次、哪些数据出去了、谁在付钱。这一篇讲我们如何用一个治理网关把这件事收口。
01
计费与配额:把 AI 成本写进月度财务表
每个 capability 按 token + 调用次数计费,按部门 / 项目 / 业务系统分摊。每月自动生成 AI 成本报表,Top 10 调用方一目了然。预算超 80% 自动告警,超 100% 自动降级到低档模型。
02
数据分级:客户隐私不进第三方模型
Ouryun Gateway 内置 PII 识别与脱敏:身份证 / 手机号 / 银行卡 / 客户姓名自动替换。PII 数据强制走私有化模型;非 PII 数据按数据分级路由到合适的区域与模型。审计员可一键导出某条数据的完整流转路径。
03
审计:每条调用可被回放
全量请求 / 响应 / Prompt 哈希 / 模型版本 / 决策原因 落库。审计员可按 user_id / trace_id / capability / 时间段一键导出 CSV。3 年保留期,符合金融与医疗合规要求。
04
降级与回退:模型不能成为业务单点
主模型不可用时,自动降级到私有化 70B → 规则模板 → 人工接管。整个降级链路由网关透明完成,业务方通过 capability_status 字段感知置信度。
yaml
一段策略示例:按数据分级 + 部门预算路由
# ouryun-gateway policy
capabilities:
- name: summarize_meeting_note
owner: crm-team
sla:
p95_latency_ms: 1500
availability: 0.999
routing:
primary: primary-cloud-model # 默认走云端
by_data_class:
pii: private-llm-70b # 含 PII 强制私有化
confidential: regional-cloud-model # 机密数据走国内云
by_dept_budget:
marketing: cost-optimized-cloud-model # 营销部门降本
legal: primary-cloud-model # 法务部门高精度
fallback_chain:
- private-llm-13b
- rule-template-v3
- manual-queue
audit:
retention_days: 1095
log_prompt: false # 提示词不落库(合规)
log_response_hash: true成果
AI 使用治理 · 量化的成果
8w
从立项到上线 8 周
100%
AI 调用纳入审计范围
37%
月度推理成本下降
· 2026/5/15