プロジェクト概要

コトリンは、当社 (FIXIT) が企画・開発・運用する Mac 向けの音声入力アプリです。メールやチャットの入力欄にカーソルを置き、録音キーを押しながら話すと、言いよどみや言い直しを除いた文章がその入力欄に入ります。2026 年 11 月 4 日に最初のバージョン (0.1.0) を配布し、リリースのお知らせ を出しました。

開発の範囲は、Mac アプリだけではありません。音声を文章にするサーバー、Google アカウントでのログイン、利用状況と設定の同期、有料プランの契約、運営向けの管理画面までを、1 つのシステムとして当社が開発しました。開発工程には AI エージェントを組み込んだ AI 駆動開発を採用し、0.1.0 から 11 月 13 日の 0.7.2 まで、バージョンを 13 回リリースしています。

開発の目的と課題

当社の業務では、メールやチャットの返信を入力する時間が日々発生します。短い返信でも、キーボードで入力して言い回しを整えるまでに時間がかかります。

Mac には標準の音声入力がありますが、話した内容が加工されずに文字になります。「えっと」などの言いよどみや、「14 時、いや、15 時」のような言い直しも残るため、送信する前に修正が必要でした。話した内容を、修正せずに送信できる文章にして入力することが、コトリンの開発の出発点です。

製品として成立させるには、次の課題がありました。

  • 前面で使っているアプリの入力欄へ、利用者の操作を妨げずに文字を入れる必要がある
  • Mac のアプリは利用者の環境で動作するため、不具合を修正したバージョンを確実に届ける仕組みが必要
  • 音声の認識をサーバーで行うため、ログイン、利用回数、契約の状態をサーバー側で管理する必要がある
  • 音声という機微な情報を扱うため、保存する情報と保存しない情報を設計の段階で決める必要がある

アプローチ 1: 押して、話して、離すだけの操作と入力先の確認

コトリンの操作は、録音キー (初期設定は fn キー) を押し続け、話し、離すだけです。話している間は、入力欄の近くに認識の途中結果を小さく表示します。キーを離すと、整えた文章が入力欄に入ります。

この操作を実現するため、キーの監視と入力欄への文字入力は Swift の補助プログラムで扱っています。画面と設定の機能は Electron と React で作り、Electron のアプリが補助プログラムを子プロセスとして起動して通信します。

設計で最も重視したのは、意図しない場所に文字を入れないことです。キーを押した時点の入力先を記録しておき、文章が確定したときに入力先やカーソルの位置が変わっていれば、自動では入力しません。その場合は結果を画面に残し、利用者がコピーして使えるようにしています。同じ入力先への二重の入力も拒否します。

要点

音声入力アプリでは、認識の精度と同じくらい、入力先を誤らないことが重要です。話し終えるまでの数秒の間に、利用者が別のウィンドウへ移る可能性があります。入力先が変わったら入力しないという規則を先に決め、テストで固定してから実装しました。

入力欄への文字入力は、アプリによって挙動が異なります。開発中には、ターミナルで、文字は入っているのに取得した入力欄の値が空になり、アプリが入力を失敗と判定する事象を実機で再現しました。ブラウザの一部の入力欄や Slack でも、入力欄を取得できない場合があります。こうした事象は、アプリごとに実機で確認し、判定の方法を修正しています。取得できないときは、理由と対処を画面に表示します。

アプローチ 2: Mac App Store ではなく、公証を受けて自社で配布

配布の方法は、公開の前に検証してから決めました。Mac App Store で配布するアプリは、サンドボックスの中で動作させる必要があります。当社は 2026 年 11 月 3 日に、補助プログラムと同じ OS の機能を使う試験用のアプリを作り、サンドボックスの有無で動作を比べました。

機能サンドボックスありサンドボックスなし
キーの監視動作した動作した
権限の確認と依頼動作した動作した
他のアプリの入力欄を読む失敗した動作した
メニューの「ペースト」を実行する失敗した動作した
キー操作を送って文字を入れる失敗した動作した

サンドボックスの中からは、許可を得ても他のアプリの入力欄を読むことも、文字を入れることもできませんでした。キー操作を送る方法では、エラーは返らず、操作が相手のアプリに届きませんでした。話した言葉を前面のアプリに入れるという中心機能が成り立たないため、Mac App Store では配布せず、Developer ID の署名と Apple の公証を受けて公式サイトから配布しています。

Mac App Store の外で配布するアプリには、ストアの更新の仕組みがありません。最初のバージョンに自動更新が入っていなければ、そのバージョンの利用者は、新しいバージョンを手動で再インストールすることになります。そのため、最初のバージョンから自動更新を組み込みました。アプリは起動時と一定時間ごとに新しいバージョンを確認し、受け取った配布物を検証してから、現在のバージョンと入れ替えます。0.7.2 以降の更新では、前のバージョンとの差分だけをダウンロードします。

要点

自社で配布するアプリでは、最初のバージョンに入れなかった更新の仕組みを、後から利用者に届ける手段がありません。機能を絞ってでも、署名・公証・自動更新の 3 つは最初のバージョンに入れました。この判断により、公開後に見つかった不具合を修正したバージョンを、利用者が再インストールせずに受け取れています。

アプローチ 3: アプリ、サーバー、契約を 1 つのシステムに

音声の認識はサーバーで行います。サーバーは Cloudflare Workers で動作させ、データベースには Cloudflare D1 を使っています。ログインには Google アカウント、有料プランの決済には Stripe を使い、Stripe の契約の状態をサーバーに同期します。Cloudflare と Stripe の設定は Terraform で管理しています。

サーバーは、業務ルール、ユースケース、外部サービスとの接続、API の層に分けました。層の間で参照してよい向きを lint で強制し、違反したコードは検査で失敗します。利用回数と課金の記録は、追加と読み取りだけを許す記録として扱い、決まったモジュール以外からは参照できないようにしています。

データの取り扱いは、設計の初期に決めました。音声と選択した文章は、文章にする処理にだけ使用し、サーバーには保存しません。保存するのは整えた文章の履歴だけで、利用者は Web のアカウント画面からいつでも削除と書き出しができます。運営向けの管理画面には、利用者の文章を表示しません。

要点

利用者の文章を運営者が閲覧できない設計を後から追加すると、既存の画面や API をすべて見直す必要が生じます。保存しないもの、運営者に見せないものを最初に決め、管理画面もその前提で作りました。

AI 駆動開発の進め方

コトリンの開発には、開発工程に AI エージェントを組み込んだ AI 駆動開発を採用しました。Mac アプリ、Swift の補助プログラム、サーバー、インフラの設定までの開発を、少人数で並行して進めています。AI エージェントに広い範囲を任せるほど、変更が意図した範囲に収まっているかを確認する仕組みが必要になります。当社は次の 3 つを開発のルールにしました。

テストを先に書き、実装中にテストを変えない

変更の前に、期待する入出力のテストを書き、失敗を確認してから実装します。実装中はテストを変えず、コードを修正します。テストの十分さはカバレッジではなく、「壊したら失敗するテストがあるか」で判断します。権限を確認する処理は、許可と拒否の両方の場合をテストします。2026 年 11 月 13 日時点で、テストのファイルは 190 個あります。

依存の向きと型のルールを機械で検査する

型の安全性を損なう書き方 (any、安全性のない型アサーション、await していない Promise など) は、lint で禁止しています。サーバーとアプリの層の間で参照してよい向きも、lint で強制します。AI エージェントが層をまたいだ参照を書いても、そのコードは検査で失敗します。

実機での確認を、自動テストと分けて記録する

権限、音声入力、入力欄への貼り付けは、自動テストだけでは確認できません。実機での確認結果は、対象の OS とアプリ、未確認の範囲を含めて記録し、自動テストの結果とは分けています。確認していないことを確認済みと扱わないためです。

要点

AI エージェントの作業を速くするほど、「どこまで確認したか」の記録が重要になります。自動テストで固定した範囲、実機で見た範囲、まだ見ていない範囲を分けて残すと、次の作業者が人でも AI でも、同じ前提から始められます。

成果

最初のバージョン (0.1.0) は 2026 年 11 月 4 日に配布しました。0.1.0 から 11 月 13 日の 0.7.2 まで、バージョンを 13 回リリースしています。主な変更は次のとおりです。

  • 録音キーの初期設定を fn キーにし、キーを押して登録できるようにした (0.4.0)
  • 音声認識が途中で途切れたときに、録音全体で認識し直して入力するようにした (0.5.0)
  • ブラウザの一部の入力欄で、入力できているのに失敗と表示される問題を修正した (0.5.1・0.5.2)
  • Slack などで入力欄を取得できなかったときに、理由と対処を表示するようにした (0.6.1)
  • 更新の進み具合を表示し、「再起動して更新」でアプリが終了しない問題を修正した (0.7.0)
  • 次回以降の更新で、前のバージョンとの差分だけをダウンロードするようにした (0.7.2)

いずれのバージョンも、利用者は自動更新で受け取っています。11 月 12 日には 1 日で 6 回リリースしました。公開後に見つかった問題を修正し、短い間隔でリリースできる体制になりました。

知見と再利用可能なナレッジ

配布の方法は、中心機能の検証から決める

Mac App Store で配布できるかどうかは、アプリの中心機能が OS のどの機能に依存するかで決まります。今回は、試験用のアプリでサンドボックスの有無を比べてから配布の方法を決めました。机上の調査だけで決めていれば、開発の後半で作り直しが発生した可能性があります。

最初のバージョンに入れるものを絞り、更新の仕組みは削らない

自社で配布するアプリでは、最初のバージョンの利用者に、再インストールを求めずに機能を届ける手段は自動更新だけです。機能は少なくても、署名・公証・自動更新は最初のバージョンに入れておく必要があります。

アプリ、サーバー、課金を同じ設計ルールで作る

Mac アプリ、サーバー、課金を別々の考え方で作ると、境界で食い違いが生じやすくなります。コトリンでは、型のルール、層の分け方、テストの進め方をすべての部分でそろえました。AI 駆動開発で複数の部分を並行して進めても、同じルールで検査できます。

実施時の留意点

注意

他のアプリを操作する Mac アプリでは、開発者の Mac で動作したことは、利用者の Mac で動作する保証になりません。権限は署名したアプリごとに付与されるため、開発中のアプリで許可した状態は、配布したアプリには引き継がれません。署名済みの配布物を、権限を一度も許可していない Mac にインストールし、初回の設定手順を確認してください。

入力先のアプリごとの違いを想定しておく

入力欄の値の取得や貼り付けは、アプリによって結果が異なります。ターミナル、ブラウザ、チャットアプリでは、同じ方法が通用しないことがあります。主要なアプリで実機の確認を行い、取得できない場合の表示まで設計しておくと、利用者が原因を判断できます。

公開の直後は、更新情報のファイルだけが先に見える場合がある

配布物と、アプリが読む更新情報のファイルを同時に置くと、配布物より先に更新情報が見えて、更新に失敗することがあります。コトリンでは、更新に失敗した場合、次回の更新確認で配布物を取得し直す設計にしています。更新に失敗したときの再試行と、手動でダウンロードできる導線を用意してください。

まとめ

コトリンは、話した内容を送信できる文章にして入力するという 1 つの目的のために、Mac アプリ、サーバー、契約の管理までを当社で開発したプロダクトです。配布の方法は中心機能の検証から決め、最初のバージョンから自動更新を組み込みました。AI 駆動開発を進めるにあたっては、テストを先に書く進め方、機械で検査する設計のルール、実機での確認の記録を徹底しています。

当社は AI 駆動開発のクリエイティブスタジオとして、こうした自社プロダクトの開発で得た進め方を、クライアントワークにも生かしています。Mac アプリや Web サービスを含む新しいプロダクトの開発は SaaS MVP 開発 として、開発体制そのものへの AI の組み込みは AI 駆動開発 としてお受けしています。まずは 無料相談 からご連絡ください。