Deeplearning4j

Deeplearning4j란?

Deeplearning4j는 JVM에서 딥러닝을 실행하는 도구 모음입니다. Java 기반 학습 및 모델 실행을 제공하며, cpython 바인딩을 통한 Python 실행, 모델 가져오기 지원, tensorflow-java 및 onnxruntime 같은 런타임과의 상호 운용성을 통해 Python 생태계와의 연동을 지원합니다.

이 프로젝트는 기존 Python 또는 C++ 워크플로의 보완재로, 또는 JVM 기반 실행이 유용한 환경에서 모델 빌드 및 배포를 위한 독립 실행 옵션으로 설계되었습니다.

주요 기능

JVM 우선 딥러닝 실행: JVM을 주요 타겟 런타임으로 딥러닝 모델 학습 및 실행.
cpython 바인딩을 통한 Python 생태계 연동: cpython 바인딩으로 Python 구성 요소 실행, Python 워크플로 일부와의 통합 가능.
모델 가져오기 및 재학습 지원: Pytorch, Tensorflow, Keras 같은 일반 Python 프레임워크에서 생성된 모델 가져오기 및 재학습.
Samediff를 통한 그래프 실행: Samediff를 복잡한 계산 그래프 실행을 위한 하위 레벨 프레임워크로 사용하며, ONNX 및 TensorFlow 그래프 실행을 위한 기본 API 역할.
Java용 ND4J 수치 컴퓨팅: Nd4j를 numpy 스타일 연산과 TensorFlow/PyTorch 스타일 연산을 결합한 Java 기반 텐서/수치 라이브러리로 사용.
크로스 디바이스 C++ 수학 코어 (Libnd4j): Libnd4j를 다양한 디바이스에서 수학 코드를 실행하고 디바이스 유형에 최적화되도록 하는 경량 독립 C++ 라이브러리로 사용.
프로덕션 지향 Python 스크립트 실행 (Python4j): Python4j를 프로덕션 환경에서 Python 스크립트 실행에 사용.
Apache Spark 통합: 제공된 통합으로 Apache Spark에서 딥러닝 파이프라인 실행.
텐서로의 데이터 변환 (Datavec): 원시 입력을 신경망 학습 및 실행에 적합한 텐서로 변환.

Deeplearning4j 사용 방법

프로젝트에서 권장하는 사이트의 Quickstart로 시작하여 어디서부터 시작할지 파악.
의존성 문제 발생 시, 환경 맞추기를 위해 사이트의 Required Dependencies 가이드 참조.
추상화 수준에 맞는 구성 요소 선택:
- 다층 네트워크 및 계산 그래프 같은 고수준 API에는 Deeplearning4j 문서 사용.
- 내장 자동 미분이 포함된 PyTorch/TensorFlow 스타일 하위 레벨 워크플로에는 Samediff 사용.
데이터 준비 및 모델 입력에는 Datavec 문서 참조.
특정 환경에서의 배포 또는 파이프라인 실행에는 Python4j, Apache Spark, 기타 관련 통합 문서 섹션 따름.

사용 사례

Python에서 빌드된 모델 가져오기 및 재학습: Pytorch, Tensorflow, Keras 모델을 JVM 워크플로로 가져와 필요 시 재학습하고 Deeplearning4j 구성 요소로 모델 개발 계속.
JVM 마이크로서비스에 모델 배포: 학습 또는 가져온 모델을 JVM 기반 서비스용으로 패키징하며, 추론 또는 서빙 로직을 위한 런타임 레이어로 Deeplearning4j 사용.
Apache Spark에서 딥러닝 파이프라인 실행: Apache Spark 통합으로 Spark 환경에서 딥러닝 파이프라인 실행.
TensorFlow/ONNX 그래프 실행 또는 통합: Samediff를 그래프 실행 프레임워크로 사용하며 ONNX 및 TensorFlow 그래프 실행을 위한 기본 API 역할.
학습용 원시 데이터 텐서 변환: Datavec로 원시 입력을 신경망 학습 및 실행에 적합한 텐서 형식으로 변환.

자주 묻는 질문

Deeplearning4j는 Java 전용인가요, 아니면 Python과 함께 사용할 수 있나요?

Deeplearning4j는 JVM 기반 도구 모음이지만, cpython 바인딩, 모델 가져오기 지원, tensorflow-java 및 onnxruntime 같은 다른 런타임과의 상호 운용성을 통해 Python 생태계와의 상호 운용성을 지원합니다.

저수준 그래프 작업에는 어떤 서브모듈을 사용해야 하나요?

사이트에서 Samediff를 PyTorch나 TensorFlow와 유사한 정신의 저수준 프레임워크로 설명하며, 내장 자동 미분을 통해 신경망을 구축할 수 있습니다.

Nd4j는 무엇에 사용되나요?

Nd4j는 Java 기반 “numpy++” 라이브러리로, numpy 연산뿐만 아니라 TensorFlow/PyTorch 스타일의 연산을 제공합니다.

프로젝트에서 데이터 전처리를 지원하나요?

네. Datavec 서브모듈은 원시 입력 데이터를 신경망 실행에 적합한 텐서로 변환하는 데이터 변환 라이브러리입니다.

Spark는 스택에서 어떤 역할을 하나요?

사이트에 Apache Spark Integration 문서 섹션이 있으며, 제공된 통합을 통해 Spark에서 딥러닝 파이프라인을 실행할 수 있습니다.

대안

PyTorch / TensorFlow (네이티브 Python): JVM 기반 실행 없이 Python 네이티브 워크플로를 원할 경우, 이 프레임워크들은 Python에서 모델 정의와 학습에 중점을 둡니다.
TensorFlow Java 또는 ONNX Runtime (런타임 중심 접근): 전체 JVM 딥러닝 워크플로가 아닌 내보낸 모델(TensorFlow 또는 ONNX 등) 실행이 주 목적이라면, 이 런타임 라이브러리들은 각 생태계에서 실행을 강조합니다.
Spark의 범용 ML 파이프라인 (특정 JVM 딥러닝 도구 모음 없이): Spark에서 전처리와 분산 처리를 실행하고 다른 모델 실행 구성 요소에 의존할 수 있지만, 단일 통합 스택에 비해 더 많은 부분을 직접 조립해야 합니다.
전체 딥러닝 스택 없는 NumPy 유사 Java 텐서 라이브러리: 텐서 수학만 필요하다면 대안이 수치 연산을 다루지만, 여기 설명된 딥러닝 그래프, 데이터 변환, 상호 운용성 부분은 포함되지 않을 수 있습니다.