About · Liner notes
关于研究所Liner notes
Rinstitute（RINA.rocks）是一个独立研究所，专注于能完全运行在个人设备上的语言模型。我们相信，一个好用的 AI 助手不应该依赖数据中心、账号或网络连接。
我们选择的路线是极低比特：用三值权重，让模型从设计上就小而省。眼下，这意味着在强开源三值基座上继续做量化感知训练（Rina Juvenile 从 Ternary Bonsai 2 · 2B 出发）；更长远地，是弄清楚怎样把三值模型训得更深、更好。
让智能装进口袋，并且留在口袋里。
什么是三值化？
普通大模型的每个权重用 16 位浮点数存储。三值化把每个权重限制为 −1、0、+1 三种取值，信息量为 log₂3 ≈ 1.58 bit。0 让模型可以“关掉”某些连接，起到特征筛选的作用。
How it works
三值化如何工作
- 01
absmean 权重量化
参考 BitNet b1.58：先用权重矩阵的平均绝对值 γ = mean(|W|) 缩放，再四舍五入并截断：
W̃ = RoundClip(W / (γ+ε), −1, +1)。每个矩阵只需额外保存一个缩放系数。 - 02
8-bit 激活
激活值用 absmax 量化到 8-bit 整数。权重 1.58-bit × 激活 8-bit，常被记作 W1.58A8。
- 03
无乘法矩阵乘
权重只有 −1、0、+1，矩阵乘法里的乘法退化为加法、减法或跳过。乘加运算是能耗大头，去掉乘法能显著降低计算能耗。
- 04
内存 ≈ 参数 × 1.58 ÷ 8
2B 参数的理论权重体积约 0.4 GB。实际文件会因嵌入层精度和打包格式略大：Rina Juvenile 的 PQ2_0 文件约 0.52 GB。同规模的 FP16 模型约 4 GB。
- 05
延迟与带宽
端侧推理的瓶颈常是内存带宽。权重越小，每生成一个 token 要搬运的数据越少，理论上延迟更低、更省电。实测结果：待测。
- 06
训练后量化 vs 量化感知训练
训练后量化（PTQ）把训练好的 FP16 模型直接压到低比特，在 1–2 bit 下通常损失很大。量化感知训练（QAT）前向用三值权重，反向用直通估计器（STE）更新高精度的影子权重，让模型学会只用三个值工作。Rina Juvenile 的 CPT、SFT、RL 全程都是 QAT。
Research
研究方向
- 01
三值训练
在小参数规模下稳定地做三值训练与适配：学习率、归一化、数据配比，以及在强开源基座上继续训练。
- 02
端侧推理内核
为 ARM CPU、移动 GPU / NPU 和 WebGPU 编写以加减法为主的三值矩阵乘内核。
- 03
评测与可复现
面向端侧的评测：质量、速度、内存与能耗。所有结果连同方法一起公开，包括变差的部分。