システム稼働要件(推奨)

OS: Ubuntu 22.04 LTS
CPU: x86-64互換CPU
RAM: 128GB以上
GPU: 90TFlops(BF16), VRAM 24GB以上
　　 CUDA 12.3以上 もしくは ROCm 6.0以上
　　 が動作するもの

推論結果（テキスト生成）の利用方法

LGTM for Businessを導入したサーバから発行されるAPIエンドポイントとAPIキーをクライアント側で設定してください。
（詳細はオンラインダッシュボードからご確認ください。）

配布形態

実行環境はDockerイメージで配布
（導入後は自動更新されます）
※ インターネットに接続できない環境への導入につきましてはお問い合わせください。

学習方法

オンラインダッシュボードの「LGTM Easy Trainer」から学習（ファインチューニング）が可能です。

サーバ要件

・SSHでアクセスできる状態であること
・Webサーバーが動作し、クライアントとの送受信ができる環境であること

モデル構造

LGTMはRNN(回帰型ニューラルネットワーク)を使用したLLM(大規模言語モデル)です。

基本モデルアーキテクチャとして、RWKVという言語モデルを採用し、それを元に自社開発の学習手法とデータセットを用いてチューニングを行っています。

モデルの特徴

・実行およびトレーニング時の計算が少なく、大きなコンテキストサイズを持つTransformer系モデルと比べて、計算能力の要求が10分の1以下。

・計算負荷が任意のコンテキスト長に線形でスケールする。（Transformerは二乗にスケールする）

・ベースモデルが多言語でトレーニングされており、日本語だけでなく英語、中国語にも対応可。

図. モデル構造
Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence（https://arxiv.org/abs/2404.05892）

学習手法(Fine-Tuning)

「LGTM Easy Trainer」では State-Tuning という手法と RLHF（人間からのフィードバックによる強化学習）を組み合わせたものを採用しています。

その他の手法を使用してLGTMをファインチューニングする方法につきましてはお問い合わせください。

RLHF

RLHFとは、機械学習モデル学習時に人間の価値基準を元に、趣向に沿う回答が出るように調整する強化学習の手法です。

本製品では弊社独自実装の学習手法によりこれを実現しています。

State-Tuning

State-Tuningとは、入力データセットに対して適切なpromptベクトルをバックプロパゲーションし、その時点のモデルのニューロン発火状態をニューラルネットワーク内の各層に埋め込む手法です。