使用Java也能开发大模型应用？让我们一探究竟

type

status

date

summary

slug

📝 前期调研

调研了三个可以在Java中运行深度学习模型的工具，有OpenNLP、ONNXRunTime以及Deeplearning4j。以下是三个工具各自的优缺点：

OpenNLP

简介： Apache OpenNLP是一个基于机器学习的Java库，用于处理自然语言处理（NLP）任务。它提供了多种NLP工具，包括分词、词性标注、命名实体识别、句法解析等。

优点：

丰富的功能集：支持多种NLP任务，如分词、词性标注、命名实体识别、句法解析等。

简单易用：API设计简洁，易于集成到现有的Java项目中。

可扩展性强：支持用户自定义训练模型，以适应特定需求。

社区支持：作为Apache基金会的一部分，有良好的文档和社区支持。

缺点：

性能有限：由于是基于Java实现，某些复杂任务的性能可能不如C++或其他低级语言实现的库。

模型质量依赖数据：预训练模型的质量取决于训练数据，对于某些特定领域可能需要大量的标注数据来训练高质量模型。

较少的深度学习支持：主要基于传统的机器学习方法，深度学习支持有限。

ONNX (Open Neural Network Exchange)

简介： ONNX是一个开放的深度学习模型交换格式，旨在促进不同深度学习框架之间的互操作性。ONNX支持模型的定义和转换，使模型可以在多个框架中运行。

优点：

框架互操作性：支持从多种深度学习框架（如PyTorch、TensorFlow、Caffe等）导入和导出模型，促进跨框架使用。

广泛支持：有很多深度学习框架和工具支持ONNX，包括ONNX Runtime，它可以在多个平台上高效运行ONNX模型。

性能优化：ONNX Runtime通过硬件加速和优化提供高性能推理。

缺点：

模型转换问题：不同框架间的模型转换可能遇到兼容性问题，需要额外的调试和优化。

学习曲线：对初学者来说，了解和使用ONNX及其相关工具可能有一定的学习曲线。

依赖框架更新：框架支持和模型转换工具需要不断更新以跟上深度学习框架的最新版本。

Deeplearning4j

简介： Deeplearning4j（DL4J）是一个开源的、基于Java和Scala的深度学习框架。它支持分布式训练和GPU加速，适用于大规模的深度学习任务。

优点：

Java生态系统：与Java和Scala生态系统无缝集成，适合需要在JVM上运行深度学习任务的用户。

分布式训练：支持在Hadoop和Spark等分布式系统上进行大规模训练。

GPU加速：支持CUDA和其他GPU加速，提升模型训练和推理的性能。

广泛的工具集：包括ND4J（数值计算库）、DataVec（数据预处理库）、Arbiter（超参数优化工具）等。

缺点：

相对较少的社区支持：相比TensorFlow和PyTorch等流行框架，DL4J的社区和生态系统相对较小。

复杂性：对于简单的深度学习任务，DL4J的配置和使用可能显得较为复杂。

文档和教程：尽管有官方文档，但与更主流的框架相比，文档和教程的丰富度和质量还有提升空间。

总结

研究了这三个工具的官方文档，发现OpenNLP这个框架更满足我的需求，而且OpenNLP框架底层在加载深度学习模型时，也是借助了ONNX的能力。Deeplearning4j框架更适合自己使用Java手撕一些经典的深度学习模型，对于当前大模型的支持较弱。

开发&&成果

由于我的使用场景下只有CPU资源，因此为了推理速度，我在huggingface上选择了一个量化的词嵌入（Embedding模型）-nomic-ai/nomic-embed-text-v1，量化后的模型大小只有138M，实测使用AMD的5600GCPU进行推理毫无压力。

代码开发比较简单，核心的部分代码实现如下：

完整代码已开源至GitHub，大家觉得有用的话欢迎给个Star。

参考资料：

contrastors
nomic-ai • Updated Jun 28, 2024

📝 前期调研

OpenNLP

ONNX (Open Neural Network Exchange)

Deeplearning4j

总结

开发&&成果

luxinfeng