[Dify]ナレッジの容量拡張
Difyのナレッジは標準?では、15MBまでとなっている。
とはいえ、世の中そういうわけにもいかない時が。。
今回も、80MBものPDFが登場して、さてとなってしまった。
一つの方法として、ファイルを分割するってのもあるけど、なんとなく味気ないので、利用できる容量を拡張することとした。
困ったこと
方法を調べ始めて最初に引っかかったことが。。。
どうやさSaaSではできない?
御多分に洩れず、アカウントとってのらりくらりとやってた今日この頃。
Nginxのパラメータを変更しなけりゃいけない。。
これってつまりはそういうこと。コミュニティ版でサーバーを作ることとなりました。
ではサーバー作ったろうやないかいな
要求される最小限のスペックとしてCPU >= 2 Core、RAM >= 4GBとある。
今回は、普段から使っているWebarenaのIndigoを利用します。
ところが、料金的にスペックに該当する組み合わせがないんですよね。
・・・、2CPU / 2GB、4CPU / 4GB、・・・なような組み合わせ。
今回は、4CPU / 4GB / 80GBSSD の組み合わせを採用しました。
OSはUbuntu24としました。
VPS環境を作成して、日本語環境とかの初期設定、SSH周りの設定を行い、サクッと終了。
では、DIfyのインストールにかかります。
Difyのインストール
こちらの方は、以下のサイトを参考としました。
特に引っかかるところもなく、SSL環境も含めてとっととインストールは完了。
動作確認も兼ねてこの状態で、初期設定を行いました。
ナレッジのサイズの拡張
おもにNginx周りですね。
今回は80MBの資料を扱うので100MBとしました。
・Docker-compose.yaml
UPLOAD_FILE_SIZE_LIMIT: ${UPLOAD_FILE_SIZE_LIMIT:-100}
NGINX_CLIENT_MAX_BODY_SIZE: ${NGINX_CLIENT_MAX_BODY_SIZE:-100M}
・.env
UPLOAD_FILE_SIZE_LIMIT=100
NGINX_CLIENT_MAX_BODY_SIZE=100M
このあと、nginxを再起動します。
$ docker compose restart nginx
おわりに
ちょっとここで??となったことが。。
SaaS版では、全文検索としておけば、Rerankは不要だったんですが、コミュニティ版にすると全文検索でRerankオフでも公開時に何故かRerank必須とエラーになったことです。
まぁ、そこはあまり深く突っ込まずにcohereでAPIキーを取得して設定しました。