รูปภาพและไฟล์สแกน
ทุกโมเดลใน Perch ทำงานกับรูปภาพได้ รวมถึงโมเดลที่มองไม่เห็นภาพ แชร์ภาพหน้าจอ ใบแจ้งหนี้ที่สแกน หรือรูปถ่าย แล้ว Perch จะอ่านภาพนั้นให้โมเดลที่กำลังทำงานของคุณ
โมเดลที่เก่งที่สุดบางตัวรองรับเฉพาะข้อความ โมเดลเหล่านี้ยอดเยี่ยมด้านการให้เหตุผล โค้ด และเอกสารยาวๆ แต่เปิดรูปภาพไม่ได้เลย ปกติแล้วนี่คือกำแพงที่ข้ามไม่ได้ คือถ้าเลือกโมเดลที่ดีกว่า ก็จะเสียความสามารถในการส่งภาพหน้าจอให้มัน
Perch ทำให้คุณไม่ต้องเลือก ทุกโมเดลใน Perch ทำงานกับรูปภาพได้ รวมถึงโมเดลที่มองไม่เห็นภาพ และใช้ได้กับทุกแพ็กเกจ รวมถึงแพ็กเกจฟรี
สรุปสั้นๆ
ทำงานอย่างไร
เมื่อคุณแชร์รูปภาพ Perch จะส่งภาพนั้นไปยังโมเดลที่มองเห็นภาพได้ โมเดลนั้นทำงานเดียว คืออธิบายสิ่งที่มองเห็นได้ในภาพ รวมถึงข้อความ เลย์เอาต์ และสิ่งใดก็ตามที่ดูไม่แน่ชัด คำอธิบายจะถูกส่งกลับมาเป็นข้อความธรรมดา และเข้าไปอยู่ในบริบทของโมเดลที่กำลังทำงานของคุณจริงๆ
ดังนั้นโมเดลที่รองรับเฉพาะข้อความจะไม่เห็นภาพเลย มันอ่านคำอธิบายภาพที่ละเอียดรอบคอบ ซึ่งเพียงพอที่จะตอบคำถามเกี่ยวกับภาพหน้าจอ ดึงตัวเลขจากใบแจ้งยอดที่สแกน หรือบอกคุณว่าแผนภูมิแสดงอะไร
สิ่งนี้คืออะไร และไม่ใช่อะไร
ภาพหน้าจอ รูปถ่าย และไฟล์สแกน
มีสองแบบที่เกิดขึ้นต่างกัน ขึ้นอยู่กับสิ่งที่คุณแชร์
ภาพหน้าจอ รูปถ่าย และรูปภาพ จะถูกอ่านโดยตรง และคำอธิบายครอบคลุมทั้งข้อความและบริบททางภาพ เช่น ตัวควบคุมไหนถูกเลือกอยู่ ข้อความแสดงข้อผิดพลาดว่าอะไร แผนภูมิมีแนวโน้มอย่างไร และอะไรดูผิดปกติ
PDF ที่สแกน จะผ่านการดึงข้อความก่อน PDF ส่วนใหญ่มีชั้นข้อความอยู่แล้ว และเมื่อมี Perch จะอ่านชั้นข้อความนั้นตรงๆ ซึ่งเร็วกว่าและตรงตัว เมื่อ PDF กลายเป็นไฟล์สแกนที่ไม่มีข้อความที่ใช้ได้ Perch จะเรนเดอร์หน้าต่างๆ แล้วอ่านด้วยการรู้จำภาพแทน คุณไม่ต้องบอกว่าไฟล์ของคุณเป็นแบบไหน
ค่าใช้จ่าย
ไม่มีค่าใช้จ่ายเพิ่ม การอ่านรูปภาพเป็นส่วนหนึ่งของ Perch ในทุกแพ็กเกจ รวมถึง Starter และไม่ใช่ฟีเจอร์พรีเมียมหรือส่วนเสริม ขั้นตอนการอ่านภาพไม่นับรวมในการใช้งานรายเดือนที่รวมอยู่ในแพ็กเกจของคุณ การแชร์ภาพหน้าจอและไฟล์สแกนจึงไม่มีค่าใช้จ่ายใดๆ นอกเหนือจากงานที่โมเดลทำกับไฟล์เหล่านั้น ไม่มีการตั้งค่าที่ต้องเปิด และไม่ต้องกำหนดค่าอะไร
ข้อจำกัด
การอ่านรูปภาพเป็นขั้นตอนที่ออกแบบให้เร็ว เพื่อไม่ให้ขวางงานจริง ซึ่งมาพร้อมข้อจำกัดบางอย่างที่ควรรู้
- รูปภาพขนาดไม่เกิน 10 MB
- PDF ที่สแกนไม่เกิน 80 หน้าในการอ่านครั้งเดียว
- ขั้นตอนการอ่านภาพเน้นความเร็วมากกว่าความละเอียดครบถ้วน จับข้อความ โครงสร้าง และข้อเท็จจริงทางภาพที่ชัดเจนได้อย่างน่าเชื่อถือ ตารางที่แน่นมาก ตัวอักษรเล็ก และลายมือ คือจุดที่มีโอกาสพลาดมากที่สุด
- เพราะโมเดลที่ทำงานของคุณทำงานจากคำอธิบาย มันจึงบอกได้เฉพาะสิ่งที่คำอธิบายจับไว้ ถ้ารายละเอียดใดสำคัญและคุณไม่เห็นรายละเอียดนั้นในคำตอบ ให้ถามถึงมันโดยตรง แล้ว Perch จะดูอีกครั้ง
เมื่อไฟล์สแกนอ่านแล้วไม่ได้อะไร
บางครั้ง Perch จะบอกคุณว่าดึงข้อความออกจากเอกสารไม่ได้ สาเหตุที่พบบ่อยคือ
- ไฟล์เป็นรูปถ่ายของหน้าเอกสารที่ถ่ายเอียงหรือแสงไม่ดี ถ่ายใหม่ให้ตรงและแสงดีขึ้นมักแก้ได้
- ไฟล์สแกนความละเอียดต่ำมาก ข้อความที่คุณอ่านไม่ออก ที่นี่ก็อ่านไม่ออกเช่นกัน
- เอกสารยาวเกินขีดจำกัดจำนวนหน้า แบ่งไฟล์แล้วแชร์เฉพาะส่วนที่ต้องการ
Perch จะบอกเมื่อเกิดกรณีนี้ แทนที่จะเดาเนื้อหา การอ่านที่ไม่ได้อะไรจะถูกรายงาน ไม่ใช่ถูกเติมเนื้อหาเอง
เอกสารคือข้อมูล ไม่ใช่คำสั่ง
ทุกอย่างที่ Perch อ่านจากรูปภาพจะถูกถือเป็นเนื้อหาที่ไม่น่าไว้วางใจ ถ้าเอกสารมีข้อความที่ดูเหมือนคำสั่ง เช่น บอกให้ผู้ช่วยเพิกเฉยต่อแนวทางของตัวเอง ส่งอีเมลไฟล์ไปที่ไหนสักแห่ง หรือเปลี่ยนสิ่งที่กำลังทำ ข้อความนั้นจะถูกจัดการเป็นเพียงเนื้อหาบนหน้าเอกสาร ไม่มีอะไรมากกว่านั้น
เรื่องนี้สำคัญกว่าที่ฟังดู ใบแจ้งหนี้ที่สแกนเป็นไฟล์ที่คนอื่นสร้างขึ้น และเข้ามาอยู่กลางงานที่คุณสั่ง Perch อ่านมันเป็นหลักฐานเกี่ยวกับใบแจ้งหนี้นั้น ไม่ใช่คำขอจากคุณ
การทำงานในเบราว์เซอร์
ความสามารถเดียวกันนี้คือสิ่งที่ทำให้โมเดลที่รองรับเฉพาะข้อความควบคุมเบราว์เซอร์ของเอเจนต์บน Perch Terminal Desktop ได้ หลังการกระทำแต่ละครั้ง โมเดลจะดูหน้าจอปัจจุบันและเห็นผลลัพธ์ได้ก่อนตัดสินใจขั้นตอนถัดไป ดูเบราว์เซอร์ของเอเจนต์
