Skip to content

Commit 285615d

Browse files
author
wok
committed
update
1 parent eef8395 commit 285615d

File tree

3 files changed

+62
-131
lines changed

3 files changed

+62
-131
lines changed

‎README.md‎

Lines changed: 22 additions & 48 deletions
Original file line numberDiff line numberDiff line change
@@ -6,6 +6,14 @@
66
- Beatrice V2 トレーニングコード公開!!!
77
- [トレーニングコードリポジトリ](https://huggingface.co/fierce-cats/beatrice-trainer)
88
- [コラボ版](https://github.com/w-okada/beatrice-trainer-colab)
9+
- v.2.0.50-alpha
10+
- [こちらを参照](https://github.com/w-okada/voice-changer/tree/v.2)
11+
- improve:
12+
- クライアントモードの性能改善
13+
- Macエディションにネイティブクライアント同梱
14+
- bugfix:
15+
- BeatriceV2変換時の入力デバイス変更時(サンプリングレートが異なると落ちる)の例外対応
16+
- サーバモードからクライアントモードへ変更時に音が壊れる対策
917
- v.2.0.47-alpha
1018
- [こちらを参照](https://github.com/w-okada/voice-changer/tree/v.2)
1119
- feature:
@@ -14,31 +22,25 @@
1422
- beatrice のデフォルト話者IDの変更
1523
- モデルファイル名が長いときのエラー対策
1624
- モニターデバイスをnoneにしたときの対応。
17-
- v2.0.45-alpha
18-
- [こちらを参照](https://github.com/w-okada/voice-changer/tree/v.2)
19-
- bugfix
20-
- 音量調整
21-
22-
23-
2425

2526
# VC Client とは
2627

2728
1. 各種音声変換 AI(VC, Voice Conversion)を用いてリアルタイム音声変換を行うためのクライアントソフトウェアです。サポートしている音声変換 AI は次のものになります。
2829

2930
- サポートする音声変換 AI （サポート VC）
30-
- [MMVC](https://github.com/isletennos/MMVC_Trainer)
31-
- [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc)
31+
- [MMVC](https://github.com/isletennos/MMVC_Trainer) (only v1)
32+
- [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc) (only v1)
3233
- [RVC(Retrieval-based-Voice-Conversion)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI)
33-
- [DDSP-SVC](https://github.com/yxlllc/DDSP-SVC)
34-
- [Beatrice JVS Corpus Edition](https://prj-beatrice.com/) * experimental, (***NOT MIT License*** see [readme](https://github.com/w-okada/voice-changer/blob/master/server/voice_changer/Beatrice/)) * Only for Windows, CPU dependent
34+
- [DDSP-SVC](https://github.com/yxlllc/DDSP-SVC) (only v1)
35+
- [Beatrice JVS Corpus Edition](https://prj-beatrice.com/) * experimental, (***NOT MIT License*** see [readme](https://github.com/w-okada/voice-changer/blob/master/server/voice_changer/Beatrice/)) * Only for Windows, CPU dependent (only for v1)
36+
- [Beatrice v2](https://prj-beatrice.com/) (only for v2)
3537
1. 本ソフトウェアは、ネットワークを介した利用も可能であり、ゲームなどの高負荷なアプリケーションと同時に使用する場合などに音声変換処理の負荷を外部にオフロードすることができます。
3638

3739
![image](https://user-images.githubusercontent.com/48346627/206640768-53f6052d-0a96-403b-a06c-6714a0b7471d.png)
3840

3941
3. 複数のプラットフォームに対応しています。
4042

41-
- Windows, Mac(M1), Linux, Google Colab (MMVC のみ)
43+
- Windows, Mac(M1), Linux, Google Colab
4244

4345
# 使用方法
4446

@@ -51,16 +53,19 @@
5153

5254
## (1) 事前ビルド済みの Binary での利用
5355

54-
- 実行形式のバイナリをダウンロードして実行することができます。
55-
5656
- チュートリアルは[こちら](tutorials/tutorial_rvc_ja_latest.md)をご覧ください。([ネットワークのトラブルシュート](https://github.com/w-okada/voice-changer/blob/master/tutorials/trouble_shoot_communication_ja.md))
5757

5858
- [Google Colaboratory](https://github.com/w-okada/voice-changer/tree/v.2/w_okada's_Voice_Changer_version_2_x.ipynb) で簡単にお試しいただけるようになりました。左上の Open in Colab のボタンから起動できます。
5959

6060
<img src="https://github.com/w-okada/voice-changer/assets/48346627/3f092e2d-6834-42f6-bbfd-7d389111604e" width="400" height="150">
6161

62-
- Windows 版と Mac 版を提供しています。
63-
62+
- Windows 版と Mac 版を提供しています。[Hugging Face](https://huggingface.co/wok000/vcclient000/tree/main)からダウンロードできます。
63+
- v2 for windows
64+
- `vcclient_win_std_xxx.zip`をダウンロードして使用して��ださい。gpuを使用しない(ある程度高性能なCPUでの)音声変換や、directmlを用いてgpu(amd, nvidia)を活用した音声変換が可能です。v2では、torch, onnxいずれも対応可能です。
65+
- nvidiaのgpuをお持ちの方は`vcclient_win_cuda_xxx.zip`を使用することでより高速な音声変換ができます。
66+
- v2 for Mac(apple silicon)
67+
- `vcclient_mac_xxx.zip`をダウンロードして使用してください。
68+
- v1
6469
- Windows かつ Nvidia の GPU をご使用の方は、ONNX(cpu,cuda), PyTorch(cpu,cuda)をダウンロードしてください。
6570
- Windows かつ AMD/Intel の GPU をご使用の方は、ONNX(cpu,DirectML), PyTorch(cpu,cuda)をダウンロードしてください。AMD/Intel の GPU は onnx のモデルを使用する場合のみ有効になります。
6671
- いずれの GPU のサポート状況についても、PyTorch、Onnxruntime がサポートしている場合のみ有効になります。
@@ -77,28 +82,8 @@
7782
- DDPS-SVC の encoder は hubert-soft のみ対応です。
7883

7984
- ダウンロードはこちらから。
85+
[hugging face](https://huggingface.co/wok000/vcclient000/tree/main)
8086

81-
| Version | OS | フレームワーク | link | サポート VC | サイズ |
82-
| ----------- | --- | ------------------------------------- | ------------------------------------------------------------------- | ----------------------------------------------------------------------------------- | ------ |
83-
| v.1.5.3.18a | mac | ONNX(cpu), PyTorch(cpu,mps) | N/A | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
84-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
85-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
86-
| v.1.5.3.17b | mac | ONNX(cpu), PyTorch(cpu,mps) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
87-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
88-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
89-
| v.1.5.3.16a | mac | ONNX(cpu), PyTorch(cpu,mps) | N/A | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
90-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
91-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
92-
| v.1.5.3.15 | mac | ONNX(cpu), PyTorch(cpu,mps) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
93-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC | 3240MB |
94-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC | 3125MB |
95-
96-
(\*1) Google Drive からダウンロードできない方は[hugging_face](https://huggingface.co/wok000/vcclient000/tree/main)からダウンロードしてみてください
97-
(\*2) 開発者が AMD のグラフィックボードを持っていないので動作確認していません。onnxruntime-directml を同梱しただけのものです。
98-
(\*3) 解凍や起動が遅い場合、ウィルス対策ソフトのチェックが走っている可能性があります。ファイルやフォルダを対象外にして実行してみてください。（自己責任です）
99-
100-
101-
https://huggingface.co/wok000/vcclient000/resolve/main/MMVCServerSIO_win_onnxgpu-cuda_v.1.5.3.18.zip?download=true
10287

10388
## (2) Docker や Anaconda など環境構築を行った上での利用
10489

@@ -116,17 +101,6 @@ Anaconda の仮想環境上での実行は、[サーバ開発者向けのペー
116101

117102
- [通信編](tutorials/trouble_shoot_communication_ja.md)
118103

119-
# リアルタイム性（MMVC）
120-
121-
GPU を使用するとほとんどタイムラグなく変換可能です。
122-
123-
https://twitter.com/DannadoriYellow/status/1613483372579545088?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
124-
125-
CPU でも最近のであればそれなりの速度で変換可能。
126-
127-
https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
128-
129-
古い CPU( i7-4770)だと、1000msec くらいかかってしまう。
130104

131105
# 開発者の署名について
132106

‎README_en.md‎

Lines changed: 20 additions & 42 deletions
Original file line numberDiff line numberDiff line change
@@ -6,6 +6,13 @@
66
- Beatrice V2 Training Code Released!!!
77
- [Training Code Repository](https://huggingface.co/fierce-cats/beatrice-trainer)
88
- [Colab Version](https://github.com/w-okada/beatrice-trainer-colab)
9+
- v.2.0.50-alpha
10+
- improve:
11+
- Improved performance in client mode
12+
- Bundled native client with Mac edition
13+
- bugfix:
14+
- Fixed exception when changing input device during BeatriceV2 conversion (if the sampling rate is different, it crashes)
15+
- Fixed issue where sound gets corrupted when switching from server mode to client mode
916
- v.2.0.47-alpha
1017
- [HERE](https://github.com/w-okada/voice-changer/tree/v.2)
1118
- feature:
@@ -14,21 +21,17 @@
1421
- Changed the default speaker ID for Beatrice
1522
- Fixed errors when model file names are too long
1623
- Handled situation when monitor device is set to none.
17-
- v2.0.45-alpha
18-
- [HERE](https://github.com/w-okada/voice-changer/tree/v.2)
19-
- bugfix
20-
- volume control
21-
2224

2325
# What is VC Client
2426

2527
1. This is a client software for performing real-time voice conversion using various Voice Conversion (VC) AI. The supported AI for voice conversion are as follows.
2628

27-
- [MMVC](https://github.com/isletennos/MMVC_Trainer)
28-
- [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc)
29+
- [MMVC](https://github.com/isletennos/MMVC_Trainer) (only v1)
30+
- [so-vits-svc](https://github.com/svc-develop-team/so-vits-svc) (only v1)
2931
- [RVC(Retrieval-based-Voice-Conversion)](https://github.com/liujing04/Retrieval-based-Voice-Conversion-WebUI)
30-
- [DDSP-SVC](https://github.com/yxlllc/DDSP-SVC)
31-
- [Beatrice JVS Corpus Edition](https://prj-beatrice.com/) * experimental, (***NOT MIT License*** see [readme](https://github.com/w-okada/voice-changer/blob/master/server/voice_changer/Beatrice/)) * Only for Windows, CPU dependent
32+
- [DDSP-SVC](https://github.com/yxlllc/DDSP-SVC) (only v1)
33+
- [Beatrice JVS Corpus Edition](https://prj-beatrice.com/) * experimental, (***NOT MIT License*** see [readme](https://github.com/w-okada/voice-changer/blob/master/server/voice_changer/Beatrice/)) * Only for Windows, CPU dependent (only v1)
34+
- [Beatrice v2](https://prj-beatrice.com/) (only for v2)
3235

3336
1. Distribute the load by running Voice Changer on a different PC
3437
The real-time voice changer of this application works on a server-client configuration. By running the MMVC server on a separate PC, you can run it while minimizing the impact on other resource-intensive processes such as gaming commentary.
@@ -57,8 +60,13 @@ It can be used in two main ways, in order of difficulty:
5760

5861
<img src="https://github.com/w-okada/voice-changer/assets/48346627/3f092e2d-6834-42f6-bbfd-7d389111604e" width="400" height="150">
5962

60-
- We offer Windows and Mac versions.
61-
63+
- We offer Windows and Mac versions on [hugging face](https://huggingface.co/wok000/vcclient000/tree/main)
64+
- v2 for Windows
65+
- Please download and use `vcclient_win_std_xxx.zip`. You can perform voice conversion using a reasonably high-performance CPU without a GPU, or by utilizing DirectML to leverage GPUs (AMD, Nvidia). v2 supports both torch and onnx.
66+
- If you have an Nvidia GPU, you can achieve faster voice conversion by using `vcclient_win_cuda_xxx.zip`.
67+
- v2 for Mac (Apple Silicon)
68+
- Please download and use `vcclient_mac_xxx.zip`.
69+
- v1
6270
- If you are using a Windows and Nvidia GPU, please download ONNX (cpu, cuda), PyTorch (cpu, cuda).
6371
- If you are using a Windows and AMD/Intel GPU, please download ONNX (cpu, DirectML) and PyTorch (cpu, cuda). AMD/Intel GPUs are only enabled for ONNX models.
6472
- In either case, for GPU support, PyTorch and Onnxruntime are only enabled if supported.
@@ -72,26 +80,7 @@ It can be used in two main ways, in order of difficulty:
7280

7381
- The encoder of DDPS-SVC only supports hubert-soft.
7482

75-
- Download (When you cannot download from google drive, try [hugging_face](https://huggingface.co/wok000/vcclient000/tree/main))
76-
77-
| Version | OS | Framework | link | support VC | size |
78-
| ----------- | --- | ------------------------------------- | ------------------------------------------------------------------- | ----------------------------------------------------------------------------------- | ------ |
79-
| v.1.5.3.18a | mac | ONNX(cpu), PyTorch(cpu,mps) | N/A | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
80-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
81-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
82-
| v.1.5.3.17b | mac | ONNX(cpu), PyTorch(cpu,mps) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
83-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
84-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
85-
| v.1.5.3.16a | mac | ONNX(cpu), PyTorch(cpu,mps) | N/A | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
86-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3240MB |
87-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC, Beatrice | 3125MB |
88-
| v.1.5.3.15 | mac | ONNX(cpu), PyTorch(cpu,mps) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 797MB |
89-
| | win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC | 3240MB |
90-
| | win | ONNX(cpu,DirectML), PyTorch(cpu,cuda) | [hugging face](https://huggingface.co/wok000/vcclient000/tree/main) | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC, DDSP-SVC, Diffusion-SVC | 3125MB |
91-
92-
(\*1) You can also download from [hugging_face](https://huggingface.co/wok000/vcclient000/tree/main)
93-
(\*2) The developer does not have an AMD graphics card, so it has not been tested. This package only includes onnxruntime-directml.
94-
(\*3) If unpacking or starting is slow, there is a possibility that virus checking is running on your antivirus software. Please try running it with the file or folder excluded from the target. (At your own risk)
83+
- [Download from hugging face](https://huggingface.co/wok000/vcclient000/tree/main)
9584

9685
## (2) Usage after setting up the environment such as Docker or Anaconda
9786

@@ -107,17 +96,6 @@ To run on Anaconda venv, see [server developer's guide](README_dev_en.md)
10796

10897
To run on Linux using an AMD GPU, see [setup guide linux](tutorials/tutorial_anaconda_amd_rocm.md)
10998

110-
# Real-time performance
111-
112-
Conversion is almost instantaneous when using GPU.
113-
114-
https://twitter.com/DannadoriYellow/status/1613483372579545088?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
115-
116-
Even with CPU, recent ones can perform conversions at a reasonable speed.
117-
118-
https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
119-
120-
With an old CPU (i7-4770), it takes about 1000 msec for conversion.
12199

122100
# Software Signing
123101

0 commit comments

Comments
 (0)