尊创科技公众号扫码关注 · 获取动态
尊创科技视频号产线实拍 / 演示视频
专为 zai3turbo、zai4turbo、zai5turbo 等自有大模型打造。 一张 12G 显卡起跑，双卡可在单机跑通 27B 级工业模型； 自研 GGUF 兼容层让自有架构的模型包无需重新量化即可接入； 对外提供 OpenAI 兼容接口，既有业务系统零改造接入。
# 看模型 $ zlm list NAME SIZE MODIFIED zai5turbo 17 GB 2 days ago zai3turbo 10 GB 2 days ago # 跑一句 $ curl 127.0.0.1:1809/api/chat -d '{ "model":"zai5turbo", "messages":[{"role":"user", "content":"用一句话说明你是谁"}], "stream":false }' {"message":{"role":"assistant", "content":"我是由 ZUNCHUANG.TECH 构建的 ZctechAI。"}, "eval_count":27, "done":true}
工业现场不缺"能跑 demo"的框架，缺的是能在客户机房连续跑三个月、出了问题能定位、升级不动模型的那一套。
针对 zai3turbo、zai4turbo、zai5turbo 等自研模型做过显存与上下文预算，参数默认值按自有模型的实际形状调好，不靠现场试错。
自有架构的模型包在加载期做元数据翻译即可接入：权重零改动、不用重新量化；同时对内核已原生支持的架构直接放行，不画蛇添足。
KV 缓存默认量化、按显存自动定上下文、同一时刻只常驻一个模型——宁可牺牲部分并发，也不让现场显存溢出。
原生 REST（对话、生成、向量、模型管理）与 OpenAI 兼容接口并存；既有系统改一个 base_url 就能接。
单进程、单端口、纯静态二进制；模型文件与调用日志全部留在客户内网，外部云通道默认关闭。
升级只替换二进制与原生负载，模型库不动；保留上一版可一键回退，升级失败不影响业务连续。
2 × RTX 3060 12G / 40 核 / 62G 内存，KV 缓存 q8_0、融合注意力开启。数据来自自有模型实测，非实验室理想值。
| 模型 | 规模 | 加载 | 生成速度 | 显存占用 | 适用场景 |
|---|---|---|---|---|---|
| zai5turbo | 27.3B · Q4_K_M | ~8.8s（冷） | 26–39 tok/s | ~21G（双卡） | 复杂分析、方案生成 |
| zai3turbo | 9.4B · Q8_0 | <1s（热） | ~30 tok/s | ~11G | 日常问答、表单抽取 |
| zai4turbo | 9.0B · Q6_K | <1s（热） | ~42 tok/s | ~13G（双卡） | 推理型问答 |
| embeding | 向量模型 | 秒级 | 768 维 | <1G | 检索、去重、聚类 |
按模型方口径固定 high：每次请求传 reasoning_effort=high。降档只用于对时延极敏感的场景，不用于评测。
temperature 1.0 · top_p 0.95，不做额外"调优"——官方口径即评测口径。
单槽上下文放到 40960，保证 32K 输出不被截断：推理被截断属于失败响应。
并发：纯文本架构支持多槽位并行（2 路短请求实测 0.73s 完成）；多模态架构按内核实测约束单模型单槽，避免显存争用。上下文长度、槽位数、KV 精度均可按现场显存调整。
对话、向量、图文识别共用同一个模型库与同一个端口；按需加载，切换由调度器完成，调用方无感。
27.3B 主力模型，支持工具调用与思考模式。适合经营分析、方案撰写、多步骤任务编排。
9.4B 轻量模型，Q8 精度，响应快、显存占用低。适合高并发问答与结构化抽取。
图文识别模型，用于单据、报表、现场照片的内容提取，与对话模型共用同一服务端口。
768 维向量模型，服务知识库检索、相似去重与聚类，毫秒级返回。
9.0B 通用推理模型，Q6_K 精度，48 万 token 上下文；双卡实测 42 tok/s，支持工具调用与思考模式。
提供 GGUF 模型包与它的架构说明，我们按兼容层规范接入并给出显存与性能建议。
zlm pull 命令；权重由公共镜像分发，本站不代理流量。
curl -fsSL https://www.zunchuang.tech/zlm/install.sh | sudo sh
自动识别平台（macOS arm64 / Linux x86_64）、校验 sha256、装到 /usr/local。
注意 sudo 要放在 sh 前（管道只对 sh 生效）：curl … | sudo sh
免 sudo 安装：curl … | ZLM_PREFIX=$HOME/.local sh
内网镜像：curl … | sudo ZLM_BASE=https://mirror.internal/zlm sh
升级：重跑同一条命令即可（旧版自动留 zlm.old-时间戳）
装完即注册常驻服务：macOS 登录自启（LaunchAgent）· Linux systemd（Restart=always），进程异常退出会自动拉起；容器/CI 加 ZLM_NO_SERVICE=1 可跳过。
macOS · Apple Silicon（15 MB）
Linux · x86_64（21 MB，CPU 版）
Linux · x86_64 CUDA 构建（本地 GPU 版自动更新专用）
macOS Intel 与 Windows 版排期中，可先联系我们获取
tar xzf zlm-1.1.10-*.tar.gz sudo install -m755 zlm /usr/local/bin/zlm sudo cp -R lib/zlm /usr/local/lib/
zlm serve # 默认 127.0.0.1:1809
zlm pull zai4turbo
zlm list
curl http://127.0.0.1:1809/api/chat \
-d '{"model":"zai4turbo","messages":[{"role":"user","content":"你好"}]}'
模型库：/zlm/models（262 个模型，含尊创自研 5 个）
zlm update --check # 只检查，不安装 zlm update # 下载 + sha256 校验 + 原子替换
不覆盖运行中的二进制（旧版留 .old-时间戳 可回滚）；装完提示重启服务。
每日自动检查并升级（systemd 计时器）：sudo systemctl enable --now zlm-update.timer
把服务地址指向 ZLM，其余不变。Python / Java / Node / Go 的 OpenAI SDK 均可直接使用。
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:1809/v1",
api_key="local",
)
resp = client.chat.completions.create(
model="zai5turbo",
messages=[{"role": "user",
"content": "这条产线良率下降的原因？"}],
)
print(resp.choices[0].message.content)
curl http://127.0.0.1:1809/api/chat -d '{
"model": "zai3turbo",
"messages": [
{"role": "system", "content": "你是现场助手"},
{"role": "user", "content": "把这段日报抽成字段"}
],
"stream": false,
"options": {"temperature": 0.2, "num_predict": 512}
}'
| 接口 | 用途 | 说明 |
|---|---|---|
| POST /api/chat | 多轮对话 | 支持流式返回，含思考内容与 token 统计 |
| POST /api/generate | 单轮生成 | 适合模板化输出与批量任务 |
| POST /api/embed | 文本向量 | 768 维，供检索与去重 |
| GET /api/tags · /api/ps | 模型与运行态 | 清单、上下文长度、显存占用 |
| POST /v1/chat/completions | OpenAI 兼容 | 既有 SDK 零改造接入 |
从一台工控机到客户机房的双卡服务器，同一套二进制、同一套接口。
一张 12G 显卡：9B 级模型 + 向量模型同时可用。适合产线边缘、门店、局侧机房。
24G 总显存：27B 主力模型常驻，32K 上下文，多路业务系统共享一个端点。
离线安装包 + 本地模型库，全程无外网依赖；按客户的安全基线做账号、目录与日志加固。
确认显卡、显存、模型清单与并发预期，给出配置建议与性能预估。
离线包安装、服务托管、模型导入与首轮验收，出具验收清单。
按实际业务做上下文、并行度、量化的参数收敛；新架构模型做兼容层接入。
接口联调、故障演练、升级与回滚手册移交，现场或远程陪跑。
ZLM 面向私有化交付做了取舍：默认只常驻一个模型、KV 缓存量化、按显存自动定上下文，宁可牺牲部分并发也不让现场显存溢出；同时内置 GGUF 兼容层，自有架构的模型包无需重新量化即可接入。通用框架更强调覆盖面，ZLM 更强调"在客户的机器上稳定跑"。
分两种情形处理：如果是内核版本落后（新架构尚未纳入），升级内核即可；如果是结构等价、只是架构名不同，则由兼容层在加载期改写元数据（KV 前缀、预切分规则、结束符），写一个几十行的 handler 接入，权重零改动、不重新量化。关键是先取证再动手——尤其是结束符（EOS/EOG），判断错了模型会"停不下来"。
一张 12G 显存显卡可跑 9B 级模型；27B 级建议双卡（24G 总显存）。纯 CPU 也能跑小模型，用于功能验证与离线场景。
不会。ZLM 默认不连接任何外部服务，模型文件、推理过程与调用日志全部留在客户内网；云端通道默认关闭且需运维显式开启。
不需要。把 base_url 指向 ZLM 的 /v1 即可复用 OpenAI SDK 与既有客户端；也提供原生的 /api/chat、/api/generate、/api/embed 接口。
支持 x86 服务器单机部署与离线安装包交付。国产加速卡与 ARM 平台需按具体型号做适配评估，我们提供现场适配服务。
升级只替换二进制与原生负载，模型库不动；保留上一版可一键回退。建议在业务低峰窗口执行，服务重启期间模型热启动通常在一秒内完成。
告诉我们显卡型号、模型清单与并发预期，我们给出配置建议、性能预估与离线交付方案。