AIプロダクトデザイン

AI機能を普通のソフトウェア機能として設計すると、結果的にユーザーを失望させてしまう可能性が高い。

• 普通のソフトウェアは決定的だ。保存をクリックすれば保存され、毎回同じように動作する。

• AIプロダクトは確率的だ。コピーを書かせると、今回うまく書けても、次は失敗するかもしれない。

普通のソフトウェアはエラー時にエラーメッセージを表示するが、AIプロダクトが間違えると、もっともらしく嘘をつき、正しいと思わせてしまうことがある。

この本質的な違いにより、AIプロダクトデザインにはまったく新しい考え方が必要になる。

従来のプロダクトデザインはゼロ欠陥を追求し、ユーザーは毎回同じ結果を得る。AIプロダクトデザインは受け入れる必要がある確率的出力、結果の不確実性をユーザーが理解し対処できるように支援する。

AIプロダクト思考

良いAIプロダクトを設計するには、まずAIの独自性と、それがユーザーにどのような心理的変化をもたらすかを理解する必要がある。

確率的出力

大規模モデルの出力は本質的に確率のサンプリングであり、同じ質問でも毎回異なる回答が得られることがある。良い時もあれば悪い時もあり、平凡な時もある。これはバグではなく、AIの特性である。

デザイナーにとって、これはいくつかの重要な原則を意味する：

優れたAIプロダクトはこの不確実性を隠そうとせず、むしろそれを強みに変える。

ユーザー心理：期待管理

ユーザーのAIに対する期待は、過大な期待と完全な不信という二つの極端の間を揺れ動くことが多い。

初めてChatGPTを使う人は、しばしば「すごい！」と驚き、AIは何でもできると感じる。

しかしAIが初歩的なミスをすると、すぐに「AIも大したことない」と態度を変えるかもしれない。

プロダクトデザイナーの任務は、ユーザーの期待を合理的な範囲に導くことだ。。

どうやってするのか？

• 第一に、AIが何をできて何ができないのかを明確にユーザーに伝える。

• 第二に、AIが間違えたときに隠そうとせず、正直に向き合う。

• 第三に、ユーザーにコントロール権を与える。AIの出力を調整・編集・却下できるようにする。

良いAIプロダクトは、ユーザーに「AIは私のアシスタントであり、上司ではない」と感じさせる。

AIプロダクトの失敗パターン

AIプロダクトの失敗の仕方は従来のソフトウェアとは大きく異なる。

従来のソフトウェアは使えるか使えないかのどちらかだ。クラッシュ、エラー、機能不全。

AIプロダクトの失敗はより微妙だ：

これらの失敗パターンを理解することが、良いAIプロダクトを設計する第一歩である。

AI機能設計の原則

三つの核心原則：段階的開示、ユーザー制御、透明性の告知。

段階的開示

すべての機能を一度にユーザーに提示しない。

理想的な流れは、まずユーザーにシンプルな起点を与え、必要に応じて徐々に多くのオプションを表示することだ。

例えば、ユーザーがメールを書く場合：

• ステップ1：件名またはキーワードを入力し、AIが初稿を生成する。

• ステップ2：ユーザーは初稿を見て、トーン・長さ・スタイルを調整できる。

• ステップ3：必要に応じて、特定の段落をさらに修正したり、AIにいくつかの異なるバージョンを提供させたりできる。

この設計の利点は：

初心者は複雑なオプションに圧倒されず、専門家は十分な制御能力を見つけられる。

制御可能性：ユーザーにAI出力を調整させる

ユーザーは自分たちが最終的な意思決定者であると感じる必要がある。

「受け入れるか諦めるか」の一回きりの結果ではなく、コントロールのつまみを提供する。

一般的な制御の次元：

さらに高度な制御：ユーザーがAIのプロンプトを直接編集したり、よく使うプロンプトテンプレートを保存できるようにする。

透明性：AI生成であることをユーザーに伝える

ユーザーにAIと対話していることを知らせるのは、倫理的問題だけでなく、プロダクト体験の問題でもある。

ユーザーが本物の人間が書いたと思っていた場合、AIだと分かると騙されたと感じる。

最初からAI生成だと明示すれば、ユーザーはむしろ寛容になり、改善に参加しようとする。

透明性を実現するいくつかの方法：

• 第一に、明確な表示。視覚的要素でAIコンテンツとユーザーコンテンツを区別する。

• 第二に、プロセスの表示。AIがどのように結果を生成したかをユーザーに見せる（思考プロセスや検索された出典の表示など）。

• 第三に、限界の説明。AIがどのような種類の間違いをする可能性があるか、そしてそれをどう見分けるかをユーザーに伝える。

透明性は信頼を築く。ユーザーはこれがAIだと分かれば、盲目的に信頼するのではなく、参考として正しい方法で使う。

ユーザーエクスペリエンスデザイン

AI 製品にはいくつかの重要な体験のポイントがあります。ローディング状態、エラー処理、フィードバックの仕組みです。

Loading状態の設計：ストリーミング出力

大規模モデルがコンテンツを生成するには時間がかかります。ユーザーを10秒間ただ待たせると、体験は非常に悪くなります。

最善の方法はストリーミング出力——コンテンツが一文字ずつ画面に表示されます。

なぜそれが良いのでしょうか？

• 第一に、ユーザーはシステムが動作していると感じ、フリーズしていないことが分かります。

• 第二に、ユーザーは早い段階から読み始めることができ、途中まで見た時点で、それが望む方向かどうかを判断できます。

• 第三に、方向が間違っていればいつでも中断でき、すべての生成が完了するのを待つ必要がありません。

ストリーミング出力のほかにも、次のような方法があります：

• 進行状況インジケーターを表示する——「考えています」「検索しています」「生成しています」。

• 予想時間を表示する——「約10秒かかります」。

• キャンセルボタンを提供する——ユーザーがいつでも停止できるようにします。

エラー処理とフォールバック（代替）案

AI は必ず間違いを犯します。良い製品設計は、エラーをそれほど怖いものではなくします。

AI の出力に明らかに問題がある場合：

• 第一に、ユーザーに「不満」または「再試行」というシンプルなボタンを提供します。

• 第二に、代替案を提供します——「この角度で試してみませんか？」。

• 第三に、ユーザーが以前の状態に簡単にロールバックできるようにします。

より深刻なエラー（例：モデルがまったく動作しない）の場合：

フォールバック対策を用意する必要があります。例えば、AI が利用できない場合は、テンプレートライブラリを提供して、ユーザーが手動で選択できるようにします。

フィードバックメカニズム

ユーザーのフィードバックは、AI 製品を改善するための貴重なリソースです。

ただし、フィードバック機能は複雑にしすぎてはいけません。複雑だとユーザーは使いたがらないからです。

シンプルで効果的なフィードバック設計：

• 第一に、いいね / よくないね——ワンクリックで満足か不満かを伝えられます。

• 第二に、簡潔な選択式——「どこが良くなかったですか？」（長すぎる、短すぎる、話がそれている、事実誤認……）。

• 第三に、任意のテキストボックス——ユーザーが問題を詳しく説明できるようにしますが、必須ではありません。

• 第四に、フィードバックが何に役立つかをユーザーに伝える——「あなたのフィードバックが私たちの改善に役立ちます」。

フィードバックを受け取ったら、インターフェース上でユーザーに確認を知らせるのが良いでしょう——「フィードバックありがとうございます。受け取りました」。

Promptのプロダクト化

優れたプロンプトは AI 製品の中核的な競争力です。プロンプトを「魔法」から管理可能な製品機能へと変えましょう。

Promptをプロダクト機能としてカプセル化する

一般ユーザーは「システムプロンプト」が何かを知る必要はありません。

彼らが知る必要があるのは、このボタンをクリックすれば正式なメールの下書きが得られる、ということだけです。

したがって、デザイナーの仕事は、複雑なプロンプトをシンプルな機能ボタンにカプセル化することです。

例を挙げます：

元のプロンプトは非常に長いかもしれません：

你是一个专业的邮件写作助手。请帮用户写一封正式、礼貌、简洁的商务邮件。
要求：1. 开头要有合适的称呼；2. 正文表达清晰；3. 结尾要有礼貌的结束语。
语气要专业但不生硬，友好但不过分随意。

製品化された後、ユーザーが見るのは以下のものだけです：

• 一つのボタン——「ビジネスメールを書く」。

• いくつかのシンプルなオプション——「フォーマル / ニュートラル / フレンドリー」、「簡潔 / 詳細」。

これがプロンプト製品化の核心です：複雑さは自分たちに、シンプルさはユーザーに。

System Promptのバージョン管理

プロンプトは一度書けば終わりではありません。継続的な反復（イテレーション）が必要です。

新しいバージョンのプロンプトがシナリオ A には良くなったが、シナリオ B には悪くなった、ということがあるかもしれません。

したがって、プロンプトはコードと同様にバージョン管理が必要です。

重要な取り組み：

• 第一に、各バージョンに番号または名前を付けます——「v1.0」「v1.1」「実験版-よりフレンドリー」。

• 第二に、各バージョンの変更を記録します——「何を変えたか、なぜ変えたか、期待される効果」。

• 第三に、複数のバージョンを同時に実行して A/B テストを行うことができます。

• 第四に、以前のバージョンへ迅速にロールバックできます。

プロンプトを反復する際は、常にロールバックの手段を残しておきましょう。新しいバージョンは予期しない問題を引き起こす可能性があります。

A/BテストでPromptを検証する

2つのバージョンのプロンプト、どちらが良いのか？推測せずに、データで語りましょう。

A/B テストの考え方：

• 一部のユーザーはバージョン A を使い、別の一部のユーザーはバージョン B を使います。

• どのバージョンがユーザー満足度がより高く、再試行率がより低く、完了率がより良いかを確認します。

以下は、Prompt の A/B テスト分析を行う方法を示す簡単な Python スクリプトです：

このスクリプトを実行すると、明確な A/B テストレポートが得られ、どちらのバージョンのプロンプトの効果が良いかが分かります。

============================================================
サンプル Prompt A/B 测试报告
============================================================

版本 A (基准):
  样本量: 6
  平均满意度: 3.50/5
  完成率: 83.3%
  平均重试次数: 0.67

版本 B (新方案):
  样本量: 6
  平均满意度: 4.17/5
  完成率: 100.0%
  平均重试次数: 0.17

对比结果:
  满意度变化: +0.67
  完成率变化: +16.7%
  重试次数变化: -0.50

结论: 版本 B 表现更好

按测试用例细分:
  邮件写作: A=3.50, B=4.50 (B更好)
  摘要生成: A=3.50, B=3.50 (A更好)
  代码解释: A=3.50, B=4.50 (B更好)

AI機能のプロトタイプ設計

大量の開発リソースを投入する前に、低コストな方法でAI機能が本当に役立つかを検証する。

Claude/ChatGPTで高速プロトタイピング

最も簡単なプロトタイプ：大規模言語モデルのチャットインターフェースを直接使って製品機能をシミュレーションする。

例えば、面接質問ジェネレーターを作りたいとする：プロンプトを書き、実現したい機能を説明し、いくつかのテストケースを入力して出力品質を確認する。

この段階の目標は以下を検証すること：

• 第一に、AIはこのタスクを実行できるか？

• 第二に、出力品質は十分に良いか？

• 第三に、ユーザーはこの機能が役立つと感じるか？

コードを書く必要も、インターフェースをデザインする必要もなく、純粋なテキスト会話でコアバリューをテストする。

この段階で効果が良くなければ、プロンプトを改善するか、この機能を作る価値があるかを再検討する。

FigmaにおけるAIプロトタイプコンポーネント

コア機能に価値があると確認できたら、次のステップとしてハイファイプロトタイプを作成できる。

Figmaはこれに適したツールだ。

以下をデザインできる：

• ユーザーはどのように入力するか？

• AIの出力をどのように表示するか？

• ユーザーはどのように調整・編集するか？

重要なのは実際のインタラクションフローをシミュレーションすることであり、静的な画面を描くだけではない。

Figmaのインタラクション機能を使って、ユーザーがボタンをクリックしたときに異なるコンテンツを「生成」できるようにする（事前にいくつかのサンプル結果を用意しておく）。

これによりユーザーは「ああ、この製品はこう使うんだ」と体感できる。

ローコードAIアプリケーションツール

よりリアルな体験が必要な場合は、ローコードツールを使って動作するプロトタイプを素早く構築できる。

このようなツールを使えば、バックエンドコードを書かずに、大規模言語モデルを実際のウェブアプリケーションに組み込むことができる。

利点は：

ユーザーはデモを見るだけでなく、実際に操作できる。

実際の使用データとフィードバックを収集できる。

検証が成功したら、このプロトタイプを開発の参考にできる。

プロトタイプの目標は学習であり、完璧さではない。最速でアイデアを検証し、問題を発見し、反復改善する。

AI出力品質の評価

AIの出力が良いかどうかをどう判断するか？定性的評価と定量的評価を組み合わせた評価体系が必要だ。

定性評価：人手によるレビュー

人にしか判断できないものもある。

例えば：回答は役に立つか？トーンは適切か？論理は一貫しているか？

人手によるレビューの進め方：

• 第一に、評価項目表を設計する——例えば関連性、正確性、有用性、安全性。

• 第二に、複数の評価者が独立して採点し、個人の偏見を減らす。

• 第三に、採点とコメントを実行可能な改善提案にまとめる。

人手によるレビューは重要だが、遅く、コストがかかり、スケールしにくい。そのため自動評価と組み合わせる必要がある。

定量評価：自動化評価

プログラムを使ってAIの出力を評価する。

一般的な自動化評価方法：

自動評価は人を完全に代替することはできないが、以下のことが可能：

• 第一に、明らかに問題のある出力を素早くフィルタリングする。

• 第二に、バージョン反復時にリグレッションテストを行う——「今回の変更で特定のシナリオが悪化していないか？」

• 第三に、本番環境のサービス品質を監視し、問題を早期に発見する。

ゴールデンテストセットの構築

高品質なテストケースを集め、プロンプトやモデルを変更するたびにこのセットでテストを実行する。

これがゴールデンテストセット。

良いテストセットは以下の条件を満たすべき：

• 第一に、典型的な使用シーンをカバーする——一般的なユーザーリクエストの種類。

• 第二に、境界ケースを含む——極端でエラーが発生しやすい入力。

• 第三に、標準回答または採点基準がある——「良い」出力が何かを把握できる。

• 第四に、規模が適切——数十から数百件で、十分に代表性のでありながら、実行が遅すぎないこと。

ゴールデンテストセットはセーフティネットのようなもの：重要なシナリオの効果を誤って壊す心配をせずに、安心して反復改善できる。

AIプロダクトの商業化（収益化）の道筋

良い製品ができたら、どうやって収益を生むか？AI製品にはいくつかの一般的な商業化モデルがある。

どのモデルを選ぶかは、製品のポジショニングとターゲットユーザーによる。

一般消費者向けには、無料＋プレミアムまたはサブスクリプション制が一般的だ。

企業顧客には、従量課金制またはカスタマイズソリューションがより適している。

しかしどのモデルでも、核心は同じ：ユーザーが実際に価値を実感できること。

ケース分析：優れたAIプロダクトの分解解説

うまくいっているAI製品をいくつか見て、その設計思想を学ぼう。

ChatGPT：対話型インタラクションの模範

ChatGPTの成功は技術的な成功だけでなく、デザインの成功でもある。

その中核となる設計上の決定：

• 第一に、対話形式を採用——ユーザーは新しい操作方法を学ぶ必要がなく、人と話すように使える。

• 第二に、ストリーミング出力——文字が次々と表示され、ユーザーはAIが考えているように感じる。

• 第三に、コンテキストの記憶——「さっきの部分をもっと短くして」と言えば、AIは「さっきの部分」が何かを覚えている。

• 第四に、シンプルな再試行——気に入らない？「再生成」をクリックするだけでいい。

• 第五に、会話履歴の管理——以前の会話を振り返り、以前の話題を続けることができる。

これらの設計はシンプルに見えるが、組み合わさることでスムーズな体験を生み出している。

GitHub Copilot：AIをワークフローに組み込む

Copilotは「プログラマーを代替する」のではなく、「プログラマーを強化する」ことを目指している。

その設計の賢さ：

• 第一に、邪魔をしない——AIはバックグラウンドで動作し、コードを書いているときに提案を提供するが、思考を妨げない。

• 第二に、低いコミットメント——AIの提案を確認し、良ければTabキーで受け入れ、悪ければそのまま入力し続ければいい。

• 第三に、コンテキスト認識——書いているコード、コメント、ファイル名を見て、何をしようとしているかを理解する。

• 第四に、複数の選択肢——いくつかの提案を提示し、意図に最も合うものを選べる。

Copilotの成功が示すこと：最高のAI製品とは、ユーザーがAIの存在を感じず、自分が上達したとだけ感じるものだ。

Notion AI：AIをライティングの助手として

Notion AIは独立した製品を作らず、AI機能を既存のノートツールに組み込んだ。

その設計の特長：

• 第一に、コンテキストはそのままドキュメント——コピー＆ペーストの必要がなく、AIは書いている場所でそのまま動作する。

• 第二に、プリセットテンプレート——「続きを書く」、「要約」、「よりフォーマルに書き直す」など、よく使う操作をワンクリックで実行。

• 第三に、混合編集が可能——AIが生成したコンテンツはいつでも修正でき、AIもその修正に続けて書き続けられる。

このような設計により、AIは独立したツールではなく、創作プロセスの一部となる。

この3つのケースからわかること：良いAI製品とは技術を誇示するものではなく、真に問題を解決し、ユーザーの仕事をより容易にするものだ。