IOS / AI / OSS · CASE STUDY
CharaTalk.
会話に、キャラクターがいる楽しさを。
LLMが返したテキストを音声に変え、VRMキャラクターの表情や口の動きにつなぐ。AIとの対話を、文字入力の先へ広げるiOSプロジェクトです。
01 / PROBLEM FRAMING
何を解決したいのか。
チャットだけでは伝わらない、キャラクターとの距離感や手触りをつくれないか。音声合成・3D描画・会話モデルをiPhone上でつなぐ実装に取り組んでいます。
02 / DESIGN DECISIONS
何を選び、どう形にしたか。
DESIGN NOTE / 01
声を端末上で生成する
Irodori TTS と speech.cpp（Metal）を用いたオンデバイス音声合成。
DESIGN NOTE / 02
声と表情をつなぐ
再生音声の音量を解析し、VRMモデルの口の動きに反映する。
DESIGN NOTE / 03
使うモデルを選べる
ローカルLLMや外部の互換APIと連携できる設計。
DESIGN NOTE / 04
3D表現を独立させる
RealityKit / VRMKitでアバターを描画し、VRMファイルの読み込みに対応。
03 / HOW IT WORKS
仕組みの全体像。
テキストを入力→LLMが応答→音声を合成・再生→アバターが同期
構成を理解しやすくした概念図です。正確な実装詳細はソースコードを参照してください。
技術詳細を追いたい場合は、公開リポジトリのREADMEとソースコードが一次情報です。
GitHubのREADMEとコードを読む ↗04 / STATUS & LIMITATIONS
公開状況と注意点。
GitHubのREADMEでは、第三者のモデル・アバター・素材の権利や商用利用条件に注意するよう明記されています。実機性能の保証やApp Store配信を示すものではありません。