HiFloat开源代码仓正式上线：量化框架/模型案例一键克隆，低比特AI开发一步到位！

2026-06-05

以下文章来源于微信公众号——全球计算联盟GCC

GCC NEWS

昨日，HiFloat社区官网带着白皮书、仿真工具和标准规范率先亮相。今天HiFloat开源代码仓正式上线，一次性开放量化仿真工具、模型适配代码、开发框架和完整可复现方案。

下文将详细介绍已上线的10个代码仓并附链接，欢迎下载使用！

1 从“看懂技术”到“跑通代码”

开源代码仓进一步补齐了从技术资料走向实际开发的关键环节。开发者不仅可以通过HiFloat社区网站了解HiFloat的设计思路，还可以在开源代码仓直接查看代码、运行示例、开展模型量化实验，并根据自己的业务场景探索新的适配方式。

目前，HiFloat开源代码仓包括以下三类资源：

• 面向HiF4和HiF8的基础量化仿真工具；
• 面向模型量化、导出、评测和推理部署的开发框架；
• 面向文生视频、图生视频和语言模型等场景的模型适配方案。

无论你是第一次接触低位宽量化，还是已经在开展大模型训练、推理优化和工程部署，都可以在代码仓中找到适合的切入点。

2 代码仓全解读：从基础工具到模型实践

基础工具：快速体验HiFloat量化能力

1、HiFloat4-Quantization_Library

面向HiFloat4的基础量化库，提供Float4量化与仿真能力，支持开发者在不同硬件后端上开展低位宽实验。开发者可以通过伪量化方式观察模型使用HiF4数据格式后的表现变化，并进一步分析精度、效率和模型效果之间的关系。仓库目前提供NVIDIA CUDA和华为昇腾NPU相关支持，适合作为了解HiFloat4、开展W4A4等低位宽量化实验的起点。

链接：

https://github.com/GCC-HiFloat/HiFloat4-Quantization_Library

2、HiFloat8-Quantization_Library

面向HiFloat8的基础量化库，提供Float8量化和仿真场景，支持在CUDA与昇腾NPU等环境中进行验证。对于希望研究W8A8量化训练、推理优化或不同数据格式精度表现的开发者，快速建立基础实验环境。

链接：

https://github.com/GCC-HiFloat/HiFloat8-Quantization_Library

通用框架：进一步探索模型量化与推理部署

3、HiFP8

HIFP8是面向HiFloa8的量化框架，与基础量化仿真库相比，HiFP8更关注完整的模型量化与部署流程。仓库支持BF16伪量化和uint8真量化两种模式，并提供模型导出、标准评测、SmoothQuant、MoE模型支持以及vLLM推理部署相关能力。对于希望进一步把HiFloat8应用到真实大模型推理场景中的开发者，HiFP8提供了更加完整的实践路径。

链接：

https://github.com/GCC-HiFloat/HiFP8

模型实践：覆盖视频生成与语言模型等应用场景

除了基础工具和通用框架，HiFloat开源代码仓还汇聚了多项模型量化实践。展示了HiF4、HiF8在不同任务、不同模型和不同技术路线中的应用方式。

面向Wan2.2 图生视频模型，提供基于 HiFloat4 的训练后量化方案。仓库包含量化代码、运行示例、技术报告和模型资源链接，为开发者提供较为完整的复现入口。如果开发者希望了解如何将 HiFloat4 用于图生视频任务，可以通过该仓库快速查看量化流程和实验配置。

4、HiSQRot4_Wan2.2

面向Wan2.2文生视频模型，提供基于HiFloat4的W4A4训练后量化方案。方案将SmoothQuant和Rotation等思路用于模型量化，在尽可能保持原始生成流程的基础上，对目标线性层进行低位宽替换。适合希望研究视频生成模型量化、低比特推理和效果保持能力的开发者参考。

链接：

https://github.com/GCC-HiFloat/HiSQRot4_Wan2.2

5、PTQ_Wan2.2

链接：

https://github.com/GCC-HiFloat/PTQ_Wan2.2

6、Percentile_Wan2.2

面向Wan2.2文生视频模型，提供基于分位数校准的HiFloat4 W4A4 训练后量化方案。仓库开放了推理代码、配置文件和复现说明，重点展示如何通过校准方法改善低比特量化表现。对于关注量化校准策略、模型效果对比和可复现流程的开发者，具有较强的参考价值。

链接：

https://github.com/GCC-HiFloat/Percentile_Wan2.2

7、LLMC_Wan2.2

提供了LLMC与Wan2.2相结合的一体化实践流程，覆盖模型量化、视频生成以及VBench评测。适合希望了解完整实验链路和工程实践的开发者，包括如何准备环境、执行量化、生成视频并完成效果评测。

链接：

https://github.com/GCC-HiFloat/LLMC_Wan2.2

8、QAT_PTQ_Wan2.1

该仓库面向Wan2.1文生视频模型，展示了基于HiFloat8 W8A8的训练后量化和量化感知训练方案。其中：PTQ，即训练后量化，适合在已有模型基础上进行快速量化；QAT，即量化感知训练，在训练过程中考虑量化带来的影响，以进一步改善模型效果。适合希望对比不同量化路线、研究视频生成模型W8A8训练与评测流程的开发者。

链接：

https://github.com/GCC-HiFloat/QAT_PTQ_Wan2.1

9、QAT_Wan2.1

围绕多模态模型训练和Wan2.1 相关场景提供工程实践资源，并包含HiF8相关模块、训练脚本、模型配置和评测文件。适合具备一定训练经验的开发者进一步探索多模态大模型训练、昇腾环境适配和量化训练流程。

链接：

https://github.com/GCC-HiFloat/QAT_Wan2.1

10、QAT_Pangu

面向OpenPangu-Embedded-1B模型，展示了基于HiFloat8 W8A8的量化感知训练方案。包括模型评测、复现说明和量化模型权重入口，适合希望了解HiFloat8在语言模型训练和量化部署中应用方式的开发者。

链接：

https://github.com/GCC-HiFloat/QAT_Pangu

3 不只是代码发布，更是开放共建的开始

HiFloat开源代码仓的上线，不只是一次资源汇总，也意味着社区建设进入了新的阶段。

低比特计算是一项需要持续迭代的系统工程。它不仅涉及数据格式本身，也涉及模型算法、训练框架、推理引擎、硬件适配、评测工具和实际应用场景。不同开发者可以从不同方向参与进来：

• 运行示例，验证HiFloat在更多模型上的效果；
• 提交PR，完善工具、文档和适配代码；
• 分享实验结果，为其他开发者提供参考；
• 适配新的模型、算子和推理框架；
• 参与技术讨论，共同探索低比特AI计算的更多可能性。
• 开源自己的HiFloat项目并联系我们合入！

无论你是算法工程师、系统开发者、科研人员、高校学生，还是关注AI 算力效率的产业伙伴，都欢迎加入HiFloat开发工作。

HiFloat 社区与开源代码仓将持续完善代码仓和技术文档，推动更多模型适配、工具升级和实践案例开放，为开发者提供更加清晰、易用、可复现的技术资源.让我们一起推动低比特AI计算技术从开放走向共建，从实验走向应用。

扫码访问

HiFloat开源代码仓

扫码进入

GCC-HiFloat社区交流群