ChatVRMは、技術共有およびデモンストレーションを主目的としたプロジェクトです。
本レポジトリは、2024-07-18時点のコードを持ってアーカイブされました。 今後、ChatVRMに対して変更を加えたい場合、フォークを行って開発いただけますと幸いです。
また、関連プロジェクトとして local-chat-vrm も公開しています。 local-chat-vrmは返答文の生成と読み上げ音声の生成をブラウザ上で実行できるアプリケーションです。ただし英語での応答のみに対応しており、日本語はご利用いただけません。
ChatVRMはブラウザで簡単に3Dキャラクターと会話ができるデモアプリケーションです。
VRMファイルをインポートしてキャラクターに合わせた声の調整や、感情表現を含んだ返答文の生成などを行うことができます。
ChatVRMの各機能は主に以下の技術を使用しています。
- ユーザーの音声の認識
- 返答文の生成
- 読み上げ音声の生成
- 3Dキャラクターの表示
ローカル環境で実行する場合はこのリポジトリをクローンするか、ダウンロードしてください。
git clone git@github.com:pixiv/ChatVRM.git必要なパッケージをインストールしてください。
npm installパッケージのインストールが完了した後、以下のコマンドで開発用のWebサーバーを起動します。
npm run dev実行後、以下のURLにアクセスして動作を確認して下さい。
ChatVRMでは返答文の生成にChatGPT APIを使用しています。
ChatGPT APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。
- https://platform.openai.com/docs/api-reference/chat
- https://openai.com/policies/api-data-usage-policies
ChatVRMでは返答文の音声読み上げにKoemotionのKoeiromap APIを使用しています。
Koeiromap APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。