Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。

???? Transformers

???? Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch、TensorFlow 和 JAX,并支持框架之间的互操作。模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署。

查看文档: https://hf.co/docs/transformers

???? Datasets 库

只需一行代码,即可轻松加载各种数据集,???? Datasets 库可以帮你轻松访问和共享音频、计算机视觉和自然语言处理等任务的数据集。借助 Apache Arrow 格式的支持,你可以零拷贝读取和处理大型数据集,???? Datasets 库还与 Hugging Face Hub 深度集成,你可以便捷的加载数据集并于更广泛的机器学习社区成员们共享。

查看文档:https://hf.co/docs/datasets

???? Diffusers

???? Diffusers 是一个操作扩散模型的工具箱,它可以非常方便的使用各种扩散模型生成图像、音频,也可以非常方便的使用各种噪声调度器,用于调节在模型推理中的速度和质量,同时,这个库也支持多种类型的模型。

查看文档:https://hf.co/docs/diffusers

???? Accelerate 库

只需添加四行代码,你就可以通过 ???? Accelerate 库在任何类型的设备上运行原本的 PyTorch 训练脚本代码。????Accelerate 只将与多 GPU/TPU/fp16 相关的样板代码抽象出来,其余代码不变。

查看文档:https://hf.co/docs/accelerate

???? Optimum

???? Optimum 是 ???? Transformers 的扩展,它提供了一组性能优化工具,可以在特定的目标硬件上以最高效率训练和运行模型。

查看文档:https://hf.co/docs/optimum

timm (pytorch-image-models)

PyTorch Image Models (timm) 是一个深度学习库,包含图像模型、优化器、调度器、增强等的集合以及训练 / 验证脚本。

查看文档:https://hf.co/docs/timm