画像とスキャン

Perchのすべてのモデルは、画像を見られないモデルも含めて画像を扱えます。スクリーンショット、スキャンした請求書、写真を共有すると、タスクを担当するモデルのためにPerchが読み取ります。

利用できる最も強力なモデルの中には、テキスト専用のものがあります。推論、コード、長いドキュメントには優れていますが、画像をまったく開けません。通常、それは越えられない壁です。より優れたモデルを選べば、スクリーンショットを渡せなくなります。

Perchは、この二者択一をなくします。Perchのすべてのモデルは、画像を見られないモデルも含めて画像を扱え、無料プランを含むすべてのプランで使えます。

要点

スクリーンショット、スキャンしたページ、写真を、どのモデルとも共有できます。そのモデルが画像を見られない場合は、Perchが代わりに画像を読み取り、その内容を渡します。

仕組み

画像またはスクリーンショット

共有したスキャン、スクリーンショット、写真。

ビジョンレーン

画像を扱えるモデルが画像を読み取り、テキストと視覚的なコンテキストを抽出します。

テキスト専用モデルがタスクを実行

抽出されたテキストを受け取るので、DeepSeekのようなモデルでも、直接は見られない画像を扱えます。

画像を共有すると、Perchはそれを画像を見られるモデルに送ります。そのモデルの仕事は一つだけです。テキスト、レイアウト、不確かに見えるものも含めて、目に見えている内容を説明することです。説明はプレーンテキストとして返され、実際にあなたの作業をしているモデルのコンテキストに入ります。

つまり、テキスト専用のモデルが画像を見ることはありません。画像の丁寧な説明を読むのであり、それでスクリーンショットについての質問に答えたり、スキャンした明細書から数値を取り出したり、グラフが何を示しているかを伝えたりするには十分です。

この仕組みがすること、しないこと

タスクを担当するモデルが、最初から最後まで主導権を持ちます。読み取りのステップは、見えたものを説明するだけです。次に何をするかは決めず、作業を引き継ぐことも決してありません。

スクリーンショット、写真、スキャン

何を共有するかによって、二つの異なる処理が行われます。

スクリーンショット、写真、画像は直接読み取られ、その説明はテキストと視覚的な文脈の両方をカバーします。どのコントロールが選択されているか、エラーに何と書かれているか、グラフがどう推移しているか、何がおかしく見えるか、などです。

スキャンしたPDFは、まずテキスト抽出にかけられます。ほとんどのPDFにはすでにテキストレイヤーがあり、その場合Perchはそれをそのまま読むので、速く正確です。PDFが使えるテキストのないスキャンだとわかった場合は、Perchがページをレンダリングし、光学的に読み取ります。どちらの種類なのかをPerchに伝える必要はありません。

費用

追加の費用はかかりません。画像の読み取りは、Starterを含むすべてのプランでPerchに含まれており、プレミアム機能やアドオンではありません。読み取りのステップはプランに含まれる毎月の使用量にはカウントされないため、スクリーンショットやスキャンを共有しても、モデルがそれを使って行う作業以上の費用はかかりません。有効にする設定も、設定作業もありません。

上限

画像の読み取りは、実際の作業の邪魔にならないよう、設計上すばやいステップになっています。そのため、知っておくべきいくつかの限界があります：

画像は10 MBまで。
スキャンしたPDFは、一度の読み取りで80ページまで。
読み取りのステップは、網羅性よりもすばやさを優先しています。テキスト、構造、明らかな視覚的事実は確実に捉えます。非常に密度の高い表、小さな文字、手書きは、見落としが最も起きやすい部分です。
タスクを担当するモデルは説明をもとに作業しているため、説明に含まれた内容しか伝えられません。重要な細部が反映されていないと感じたら、それについて直接尋ねてください。Perchがもう一度確認します。

スキャンから何も読み取れなかったとき

まれに、Perchがドキュメントからテキストを取り出せなかったと伝えることがあります。よくある原因：

ファイルが、斜めから、または暗い場所で撮影したページの写真です。平らに置いて明るい場所で撮り直すと、たいてい解決します。
スキャンの解像度が非常に低いです。あなたが読めない文字は、ここでも読めません。
ドキュメントがページ数の上限を超えています。分割して、必要な部分を共有してください。

こうしたとき、Perchは内容を推測するのではなく、その旨を伝えます。空の読み取り結果は、埋め合わされるのではなく、そのまま報告されます。

ドキュメントはデータであり、決して指示ではありません

Perchが画像から読み取ったものはすべて、信頼できない資料として扱われます。ドキュメントに、アシスタントにガイドラインを無視させる、ファイルをどこかへメールで送らせる、やっていることを変えさせる、といった指示のように見えるテキストが含まれていても、そのテキストはページ上のコンテンツとして扱われるだけです。

これは聞いた印象以上に重要です。スキャンした請求書は他人が作成したファイルであり、あなたが依頼したタスクの最中に届きます。Perchはそれを、あなたからの依頼としてではなく、その請求書についての証拠として読みます。