บริบทภาพ AI บน Android: ใช้ภาพเดิมต่อเนื่องและวิเคราะห์ซ้ำอย่างไร
อธิบายวิธีให้ AI ใช้ภาพเดิมต่อเนื่องบน Android ตั้งแต่เลือกภาพ รักษาการอ้างอิง วิเคราะห์พิกเซลซ้ำ ไปจนถึงยืนยันผลก่อนสั่งงานโทรศัพท์
- บริบทภาพที่ต่อเนื่องต้องรักษาทั้งไฟล์ต้นฉบับ ตัวตนของภาพ แหล่งที่มา ขนาด อายุการเข้าถึง และประวัติสิ่งที่วิเคราะห์แล้ว
- คำถามใหม่อาจต้องเปิดพิกเซลเดิมมาวิเคราะห์ซ้ำ เพราะคำตอบก่อนหน้ามักเก็บเฉพาะรายละเอียดที่เกี่ยวข้องกับคำถามในขณะนั้น
- ก่อนนำข้อมูลจากภาพไปสร้างโน้ต เตือนความจำ ข้อความ หรือรายการอื่น ผู้ใช้ควรตรวจค่าที่สกัดได้และยืนยันหลักฐานหลังทำงาน
- FoneClaw รองรับการแนบและวิเคราะห์ภาพซ้ำ พร้อมรักษาการอ้างอิง ขนาดภาพ ความคืบหน้า การกู้คืนสิทธิ์ และจุดยืนยันสำหรับงาน Android ที่รองรับ
บริบทภาพต่อเนื่องบน Android คืออะไร
บริบทภาพ AI บน Android ที่ต่อเนื่องหมายถึง ผู้ช่วยสามารถกลับมาใช้ภาพต้นฉบับเดียวกันในบทสนทนาหลายช่วง รู้ว่าภาพใดกำลังผูกอยู่กับงาน และเปิดพิกเซลเดิมมาวิเคราะห์ใหม่เมื่อคำถามเปลี่ยนไป ระบบจึงต้องรักษามากกว่าคำตอบข้อความจากรอบแรก เพราะคำตอบนั้นอาจกล่าวถึงเพียงรายละเอียดที่จำเป็นในขณะนั้น
ลองนึกถึงภาพใบเสร็จหนึ่งใบ คำถามแรกคือ “ยอดรวมเท่าไร” ผู้ช่วยจึงสนใจตัวเลขบริเวณท้ายใบเสร็จ ต่อมาผู้ใช้ถามว่า “มีค่าจัดส่งหรือไม่” และ “ซื้อสินค้าชิ้นนี้วันไหน” คำตอบแรกไม่ได้เก็บหลักฐานเรื่องค่าจัดส่ง วันที่ หรือชื่อร้านไว้อย่างครบถ้วน ผู้ช่วยจึงควรกลับไปดูภาพต้นฉบับในตำแหน่งที่เกี่ยวข้อง แทนการอนุมานจากข้อความสรุปเดิม
งานลักษณะนี้มีข้อมูลสามส่วนที่ควรแยกกัน ส่วนแรกคือพิกเซลต้นฉบับซึ่งเป็นหลักฐาน ส่วนที่สองคือการอ้างอิงที่บอกว่าระบบต้องเปิดภาพใด ส่วนที่สามคือสิ่งที่พบจากการวิเคราะห์แต่ละรอบ เช่น ยอดรวม วันที่ ข้อความผิดพลาด หรือสภาพของวัตถุ การเก็บทั้งสามส่วนช่วยให้ผู้ช่วยรู้ว่าคำตอบใดมาจากภาพใดและรายละเอียดใดควรตรวจใหม่
ลำดับงานสั้น ๆ จึงเป็นดังนี้:
- ผู้ใช้เลือก ถ่าย หรือจับภาพหนึ่งภาพและผูกกับงานปัจจุบัน
- ผู้ช่วยเปิดภาพเพื่อหาหลักฐานตามคำถามแรก
- ระบบบันทึกผลที่พบพร้อมตำแหน่งหรือบริบทที่เกี่ยวข้อง
- เมื่อคำถามใหม่ต้องใช้รายละเอียดอื่น ผู้ช่วยเปิดภาพเดิมและวิเคราะห์เฉพาะส่วนที่จำเป็น
- ก่อนนำข้อมูลไปทำงานบนโทรศัพท์ ผู้ใช้ตรวจค่าที่สกัดได้และยืนยันขั้นตอนสำคัญ
หัวใจของการถามต่อจากภาพเดิมจึงอยู่ที่การรักษาตัวตนของไฟล์ ไม่ใช่การคาดหวังให้บทสนทนาจำรายละเอียดภาพทั้งหมด ผู้ช่วย Android แบบมัลติโหมดที่ทำงานได้ดีควรบอกได้ว่ากำลังใช้ภาพใด ภาพยังเปิดได้หรือไม่ และคำตอบล่าสุดอาศัยการวิเคราะห์ใหม่หรืออาศัยข้อมูลที่พบก่อนหน้า
เลือก ถ่าย หรือจับภาพต้นฉบับให้เหมาะกับงาน
คุณภาพของบริบทเริ่มตั้งแต่วิธีนำภาพเข้าสู่งาน Android มีสามเส้นทางหลัก ได้แก่ เลือกภาพที่มีอยู่ ถ่ายภาพใหม่ และจับภาพหน้าจอ แต่ละวิธีให้หลักฐาน แหล่งที่มา และอายุการเข้าถึงต่างกัน การเลือกเส้นทางให้ตรงกับงานช่วยลดทั้งภาพผิดไฟล์ รายละเอียดไม่ครบ และการขอสิทธิ์กว้างเกินความจำเป็น
| แหล่งภาพ | เหมาะกับงาน | สิ่งที่ควรตรวจ |
|---|---|---|
| ตัวเลือกรูปภาพของ Android | ใบเสร็จ เอกสาร หรือรูปที่มีอยู่แล้ว | เลือกไฟล์ถูกภาพ การเข้าถึงมีอายุเพียงพอ และไม่มีภาพอื่นติดมาด้วย |
| กล้อง | ป้าย ฉลาก อุปกรณ์เสียหาย หรือเอกสารตรงหน้า | ภาพที่ได้รับเป็นภาพย่อหรือไฟล์เต็ม ความคมชัด ทิศทาง และแสงสะท้อน |
| การจับภาพหน้าจอ | ข้อความผิดพลาด หน้าตั้งค่า หรือสถานะในแอป | ขอบเขตหน้าจอ การยินยอมของผู้ใช้ และข้อมูลส่วนตัวที่ปรากฏ |
คู่มือ Photo Picker ของ Android อธิบายว่าผู้ใช้สามารถเลือกอนุญาตเฉพาะรูปหรือวิดีโอที่ต้องการ แทนการเปิดคลังสื่อทั้งหมด แอปจะได้รับ URI ของรายการที่เลือก และอาจต้องขอคงสิทธิ์การเข้าถึงเมื่อภารกิจต้องใช้ไฟล์นานกว่าช่วงเวลาปกติของการทำงานนั้น
หากต้องถ่ายภาพใหม่ แนวทางใช้แอปกล้องผ่าน Intent ของ Android แสดงว่าระบบสามารถส่งงานถ่ายภาพไปยังแอปกล้องและรับข้อมูลภาพหรือไฟล์ที่บันทึกกลับมาได้ สิ่งสำคัญคือแยกภาพย่อออกจากภาพเต็ม ภาพย่ออาจเพียงพอสำหรับดูวัตถุขนาดใหญ่ แต่ข้อความเล็ก หมายเลขรุ่น หรือรอยชำรุดอาจต้องใช้ไฟล์ที่มีความละเอียดสูงกว่า
สำหรับภาพหน้าจอ เอกสาร MediaProjection ของ Android ระบุว่าผู้ใช้ต้องยินยอมสำหรับแต่ละช่วงการจับภาพ และโทเค็นอนุญาตใช้ตามช่วงนั้น กระบวนการอาจจับทั้งหน้าจอหรือหน้าต่างแอปที่เลือกตามรูปแบบของระบบ จึงควรระบุให้ชัดว่าจะจับส่วนใดและใช้กับคำถามใด
ก่อนส่งภาพให้ผู้ช่วย ให้ตรวจการครอบตัด ความละเอียด การหมุน และส่วนที่อาจมีข้อมูลส่วนตัว ภาพใบเสร็จควรเห็นชื่อร้าน วันที่ รายการ และยอดรวมครบ ภาพข้อความผิดพลาดควรรวมชื่อหน้าหรือองค์ประกอบที่บอกว่าเกิดในแอปใด ส่วนภาพอุปกรณ์ควรมีทั้งภาพรวมและบริเวณที่ต้องการตรวจอย่างชัดเจน
หากต้องนำบริบทจากแอปที่กำลังเปิดอยู่เข้าสู่ผู้ช่วยแบบลอย ขั้นตอนใน ผู้ช่วย AI แบบลอย Android หน้าจอปัจจุบัน: แนบบริบท ตรวจขั้นตอน และควบคุมงานได้ อธิบายวิธีเลือกส่งหน้าจอ ตรวจสิ่งที่แนบ และติดตามงานโดยยังคงเห็นแอปต้นทาง
รักษาการอ้างอิงภาพเดิมตลอดงาน
หลังได้ภาพที่ถูกต้อง ระบบต้องกำหนดตัวตนที่คงที่ให้ภาพนั้น การใช้ชื่อไฟล์อย่างเดียวอาจสับสนเมื่อกล้องสร้างชื่อซ้ำ เมื่อผู้ใช้แนบภาพหลายใบ หรือเมื่อไฟล์ถูกคัดลอกไปยังพื้นที่ทำงานชั่วคราว การอ้างอิงที่ดีควรผูกภาพกับงานและบทสนทนาที่กำลังดำเนินอยู่ พร้อมบอกแหล่งที่มาและเวลาที่รับภาพเข้ามา
ข้อมูลขั้นต่ำที่ควรรักษามีดังนี้:
- รหัสของภาพที่ไม่ปะปนกับไฟล์แนบอื่นในงานเดียวกัน
- แหล่งที่มา เช่น ตัวเลือกรูปภาพ กล้อง หรือภาพหน้าจอ
- เวลาที่เลือก ถ่าย หรือจับภาพ เพื่อแยกสถานะเก่าออกจากสถานะปัจจุบัน
- ชนิดไฟล์และขนาดกว้างคูณสูงของภาพต้นฉบับ
- ทิศทางภาพและข้อมูลการหมุนที่ใช้แสดงผล
- การอ้างอิงภายในเครื่องหรือแหล่งเข้าถึงที่ยังใช้งานได้
- งานและบทสนทนาที่ภาพได้รับอนุญาตให้ใช้
- ประวัติคำถาม ส่วนที่ตรวจ และผลที่พบในแต่ละรอบ
ขนาดภาพมีผลมากกว่าการแสดงผล หากระบบบอกว่าข้อความผิดพลาดอยู่บริเวณมุมขวาบน ตำแหน่งนั้นต้องอ้างอิงกับความกว้าง ความสูง และการหมุนที่ถูกต้อง การย่อภาพหรือครอบบางส่วนโดยไม่บันทึกความสัมพันธ์กับภาพต้นฉบับอาจทำให้พิกัดคลาดเคลื่อน และอาจพาผู้ช่วยไปอ่านคนละแถวหรือเลือกคนละองค์ประกอบ
อายุการเข้าถึงก็เป็นส่วนของบริบท URI จากตัวเลือกรูปภาพอาจเปิดได้ในช่วงเวลาหนึ่ง ขณะที่งานยาวหรือการกลับมาทำภายหลังอาจต้องใช้สิทธิ์ที่คงอยู่ตามกลไกของ Android หากสิทธิ์หมด ระบบควรขอให้ผู้ใช้เลือกภาพเดิมอีกครั้งหรืออนุญาตใหม่ พร้อมเทียบข้อมูลพื้นฐานเพื่อยืนยันว่าเป็นไฟล์เดียวกัน
ใน FoneClaw เรารักษาการอ้างอิงและขนาดของภาพที่แนบหรือจับมา เพื่อให้คำถามถัดไปกลับไปยังสินทรัพย์ภาพเดียวกันได้ งานยังคงผูกกับบทสนทนาปัจจุบัน และเมื่อการเข้าถึงต้องต่ออายุ ระบบสามารถเตรียมไฟล์แนบใหม่ผ่านเส้นทางที่รองรับโดยรักษาความสัมพันธ์กับภาพต้นฉบับ
การอ้างอิงที่คงที่ช่วยป้องกันภาพสลับโดยไม่รู้ตัว สมมติว่าผู้ใช้แนบใบเสร็จสองใบแล้วถามว่า “ใบแรกมีภาษีเท่าไร” ระบบต้องรักษาลำดับและรหัสของแต่ละภาพ ไม่ควรเลือกไฟล์ล่าสุดเพียงเพราะเข้าถึงง่ายกว่า ก่อนวิเคราะห์ซ้ำ ผู้ช่วยควรระบุภาพเป้าหมายจากบริบทของคำถามอย่างชัดเจน
วิเคราะห์พิกเซลเดิมซ้ำเมื่อคำถามเปลี่ยน
การวิเคราะห์ภาพซ้ำด้วย AI ควรเริ่มเมื่อคำถามใหม่ต้องใช้หลักฐานที่คำตอบเดิมไม่ได้ตรวจไว้ การมีข้อความสรุปก่อนหน้าอาจช่วยวางแผน แต่ข้อความนั้นเป็นผลจากโจทย์หนึ่ง ไม่ใช่สำเนารายละเอียดทั้งหมดในภาพ ผู้ช่วยจึงต้องตัดสินว่าข้อมูลเดิมเพียงพอหรือควรเปิดพิกเซลต้นฉบับอีกครั้ง
ตัวอย่างแรกคือใบเสร็จ คำถามเรื่องยอดรวมอาจอ่านเฉพาะส่วนล่าง แต่คำถามต่อมาเรื่องเลขผู้เสียภาษีต้องตรวจส่วนหัวและอาจต้องใช้ความละเอียดสูงขึ้น ตัวอย่างที่สองคือภาพข้อความผิดพลาด คำถามแรกอาจหาชื่อข้อผิดพลาด ส่วนคำถามใหม่ต้องดูเลขรหัส เวลาที่เกิด และปุ่มที่ปรากฏรอบข้อความ ตัวอย่างที่สามคือภาพวัตถุ คำถามเรื่องสีใช้ภาพรวมได้ แต่การตรวจรอยแตกหรือสภาพขั้วต่อจำเป็นต้องดูบริเวณเล็กอย่างละเอียด
วงจรวิเคราะห์ซ้ำที่ตรวจสอบได้ประกอบด้วยสี่ขั้น:
- ระบุคำถามใหม่และหลักฐานภาพที่ต้องใช้ตอบ
- ตรวจว่าผลจากรอบก่อนมีรายละเอียดครบและยังอ้างถึงภาพเดียวกันหรือไม่
- เปิดภาพต้นฉบับด้วยความละเอียดหรือการครอบที่เหมาะกับหลักฐานใหม่
- เปรียบเทียบผลล่าสุดกับสิ่งที่พบก่อนหน้าและระบุจุดที่สอดคล้องหรือขัดแย้งกัน
งบประมาณภาพของโมเดลมีผลต่อรายละเอียด ภาพขนาดใหญ่อาจถูกย่อหรือบีบอัดก่อนส่งเข้าสู่โมเดลเพื่อควบคุมปริมาณข้อมูล การอ่านตัวเลขเล็กจึงอาจต้องเลือกครอบเฉพาะส่วนจากภาพต้นฉบับแล้ววิเคราะห์ใหม่ การบีบอัดเหมาะกับการดูโครงสร้างโดยรวม ส่วนงาน OCR ตัวอักษรเล็กหรือการตรวจตำหนิควรใช้ข้อมูลภาพที่รักษารายละเอียดบริเวณเป้าหมายไว้มากกว่า
FoneClaw เตรียมคำขอแบบมัลติโหมดตามภาพและคำถามปัจจุบัน จัดสรรรายละเอียดของภาพให้เหมาะกับงาน และต่ออายุไฟล์แนบเมื่อจำเป็น หากผู้ใช้ถามประเด็นใหม่ ระบบสามารถกลับไปวิเคราะห์ภาพที่ผูกกับงาน แทนการตอบจากข้อความสรุปเดิมเพียงอย่างเดียว ความคืบหน้าที่แสดงระหว่างงานช่วยให้ผู้ใช้เห็นว่าระบบกำลังใช้ภาพเดิมและทำการตรวจรอบใหม่
เมื่อผลสองรอบขัดแย้งกัน เช่น รอบแรกอ่านยอดเป็น 1,280 บาท แต่การครอบความละเอียดสูงอ่านได้ 1,290 บาท ควรหยุดก่อนนำตัวเลขไปบันทึกหรือส่งต่อ ผู้ใช้สามารถขยายภาพ ตรวจตำแหน่งต้นฉบับ หรือเลือกภาพใหม่ที่ชัดกว่า ความมั่นใจของโมเดลเป็นสัญญาณช่วยตัดสินใจ แต่หลักฐานที่ผู้ใช้มองเห็นยังเป็นเกณฑ์ยืนยันที่สำคัญกว่า
บางหน้าจอควรใช้ข้อมูลโครงสร้างร่วมกับภาพ พิกเซลเหมาะกับข้อความที่วาดบนหน้าจอ รูปภาพ กราฟ และสภาพการจัดวาง ส่วน UI tree อาจระบุชื่อองค์ประกอบ สถานะ และจุดที่แตะได้แม่นกว่า หากต้องเลือกวิธีตรวจ อ่าน การเข้าใจหน้าจอของ AI Agent บน Android: เลือก UI tree, ภาพหน้าจอ หรือใช้ร่วมกัน เพื่อจับคู่หลักฐานกับงานที่ต้องทำ
ตรวจผลและกู้คืนเมื่อบริบทภาพสะดุด
ข้อมูลที่อ่านจากภาพควรถูกมองเป็นข้อเสนอให้ตรวจ ก่อนกลายเป็นค่าที่ใช้กับงานจริง หากผู้ช่วยอ่านวันที่ ยอดเงิน ที่อยู่ หมายเลขโทรศัพท์ หรือข้อความผิดพลาด ควรแสดงค่าที่สกัดได้พร้อมบริเวณหลักฐานในภาพ เพื่อให้ผู้ใช้แก้ไขก่อนสร้างโน้ต เตือนความจำ ปฏิทิน หรือข้อความ
ขั้นตอนที่ตรวจสอบได้มีห้าช่วง เริ่มจากแสดงภาพเป้าหมาย ต่อด้วยตัวอย่างข้อมูลที่อ่านได้ ให้ผู้ใช้ยืนยันฟิลด์ที่มีผลสำคัญ ดำเนินงานผ่านเครื่องมือ Android ที่รองรับ แล้วตรวจผลจากหน้าจอหรือระเบียนปลายทาง การเห็นว่าปุ่มถูกแตะหรือแบบฟอร์มถูกกรอกยังไม่เพียงพอ งานจะเสร็จเมื่อมีหลักฐานว่าปลายทางบันทึกหรือเปลี่ยนสถานะสำเร็จ
| สัญญาณปัญหา | ความหมายที่ควรตรวจ | วิธีกู้คืน |
|---|---|---|
| เปิดภาพเดิมไม่ได้ | URI หรือสิทธิ์เข้าถึงอาจหมดอายุ | ขอเลือกภาพเดิมหรืออนุญาตใหม่ แล้วตรวจตัวตนและขนาดก่อนดำเนินต่อ |
| ภาพที่แสดงไม่ตรงกับงาน | ไฟล์แนบอาจสลับกับภาพล่าสุด | หยุดงาน แสดงรายการภาพที่ผูกไว้ และให้ผู้ใช้เลือกภาพเป้าหมาย |
| ตัวเลขจากสองรอบไม่ตรงกัน | การครอบ ความละเอียด หรือคุณภาพ OCR ต่างกัน | กลับไปใช้ภาพต้นฉบับ ครอบส่วนที่เกี่ยวข้อง และให้ผู้ใช้ตรวจค่าที่อ่านได้ |
| ภาพเบลอหรือรายละเอียดเล็กเกินไป | หลักฐานไม่เพียงพอสำหรับคำถามใหม่ | ถ่ายใหม่ ใช้ไฟล์เต็ม หรือเลือกภาพที่มีความละเอียดสูงกว่า |
| เครื่องมือรายงานว่าสำเร็จแต่ไม่พบผล | แอปปลายทางอาจยังไม่บันทึกหรือสถานะเปลี่ยนระหว่างงาน | ตรวจหน้าจอหรือระเบียนปลายทาง แล้วลองใหม่เฉพาะเมื่อยืนยันว่าไม่มีรายการซ้ำ |
| สิทธิ์ Android ถูกปิดระหว่างงาน | ขั้นตอนถัดไปเข้าถึงภาพหรือแอปไม่ได้ | เปิดหน้าสิทธิ์ที่เกี่ยวข้อง อนุญาตตามขอบเขตงาน และกลับมาทำต่อจากจุดตรวจล่าสุด |
การต่ออายุการอ้างอิงควรรักษาความต่อเนื่องของงาน หากผู้ใช้ต้องเลือกภาพใหม่ ระบบควรเปรียบเทียบแหล่งที่มา ขนาด เวลา และตัวอย่างภาพก่อนแทนที่ไฟล์เดิม การเลือกไฟล์ล่าสุดแบบอัตโนมัติอาจทำให้ค่าจากภาพหนึ่งถูกนำไปใช้กับอีกภาพหนึ่งโดยที่บทสนทนายังดูต่อเนื่องตามปกติ
หลังดำเนินงาน ให้ตรวจหลักฐานที่สัมพันธ์กับผลนั้นโดยตรง โน้ตควรปรากฏพร้อมข้อความที่ยืนยันแล้ว รายการปฏิทินควรมีวัน เวลา และชื่อที่ถูกต้อง ส่วนการเปิดหน้าตั้งค่าควรตรวจสถานะหลังการเปลี่ยนแปลง หากผลไม่ตรงกับข้อมูลจากภาพ ระบบควรนำค่าที่เตรียมไว้กลับมาให้ทบทวน แทนการทำซ้ำโดยไม่ตรวจสาเหตุ
ควบคุมการเลือกภาพ สิทธิ์ และระยะเวลาเก็บ
การควบคุมบริบทภาพเริ่มจากการเลือกขอบเขตที่แคบที่สุดสำหรับงาน หากต้องวิเคราะห์ใบเสร็จหนึ่งใบ ตัวเลือกรูปภาพช่วยให้ผู้ใช้อนุญาตเฉพาะไฟล์นั้น การให้สิทธิ์แบบเลือกเป็นรายการลดการเปิดเผยภาพอื่นในคลัง และยังทำให้เห็นชัดว่าภาพใดได้รับอนุญาตให้ผูกกับบทสนทนา
คำแนะนำ Android เรื่องการลดขอบเขตสิทธิ์ สนับสนุนการใช้ช่องทางเฉพาะงาน เช่น Photo Picker ซึ่งให้สิทธิ์อ่านชั่วคราวกับสื่อที่ผู้ใช้เลือก ก่อนเริ่มงาน ผู้ใช้ควรตรวจภาพที่เลือก ครอบส่วนที่จำเป็น และปิดบังข้อมูลที่ไม่เกี่ยวข้อง เช่น หมายเลขบัญชี ที่อยู่ หรือข้อความส่วนตัวที่อยู่รอบวัตถุเป้าหมาย
ระหว่างทำงาน ให้แยกสิทธิ์การอ่านภาพออกจากสิทธิ์ของขั้นตอนถัดไป การวิเคราะห์ภาพใบเสร็จอาจต้องเข้าถึงไฟล์ภาพ ส่วนการสร้างเตือนความจำอาจต้องใช้เครื่องมือปฏิทินหรือโน้ต สิทธิ์แต่ละส่วนควรเกิดเมื่อภารกิจต้องใช้ และผู้ใช้ควรเห็นข้อมูลที่จะถูกส่งต่อก่อนยืนยัน
สำหรับภาพหน้าจอ ความยินยอมของ MediaProjection ผูกกับช่วงการจับภาพที่ผู้ใช้อนุมัติ เมื่อจบงาน ผู้ใช้สามารถหยุดช่วงการจับภาพและเริ่มใหม่หากต้องการบริบทจากหน้าจออื่น วิธีนี้ทำให้การเปลี่ยนขอบเขตเป็นการตัดสินใจที่มองเห็นได้ เช่น เปลี่ยนจากหน้าตั้งค่าทั่วไปไปยังแอปที่มีข้อมูลส่วนตัว
หลังเสร็จงาน ควรเลือกว่าจะเก็บอะไรต่อ ตัวภาพอาจจำเป็นเพียงช่วงที่กำลังวิเคราะห์ ขณะที่ผลที่ตรวจแล้ว เช่น ยอดรวม วันที่ หรือข้อความผิดพลาด อาจถูกบันทึกเป็นโน้ตตามคำสั่งของผู้ใช้ การเก็บผลลัพธ์กับการเก็บไฟล์ต้นฉบับมีวัตถุประสงค์ต่างกัน จึงควรกำหนดอายุให้ตรงกับงานและลบการอ้างอิงที่หมดความจำเป็น
เช็กลิสต์ก่อน ระหว่าง และหลังใช้ภาพมีดังนี้:
- ก่อนเริ่ม: เลือกเฉพาะภาพที่เกี่ยวข้อง ตรวจการครอบและข้อมูลอ่อนไหว
- ระหว่างงาน: ยืนยันว่าผู้ช่วยกำลังใช้ภาพที่ถูกต้องและขอสิทธิ์ตามขั้นตอนจริง
- ก่อนส่งต่อ: ตรวจค่าที่สกัด ผู้รับ แอปปลายทาง และข้อมูลที่จะบันทึก
- หลังเสร็จ: ตรวจผล ยุติช่วงจับหน้าจอ และจัดการภาพตามระยะเวลาที่ต้องการ
สำหรับหลักการควบคุมบริบทที่ครอบคลุมทั้งทริกเกอร์ หน้าจอ ตำแหน่ง และการอนุมัติ อ่านต่อได้ที่ ผู้ช่วย AI เชิงรุกบนโทรศัพท์: ทริกเกอร์ บริบท การอนุมัติ และการควบคุม ซึ่งช่วยวางกติกาสำหรับบริบทที่เกิดขึ้นหลายครั้งตลอดวัน
ขั้นตอนภาพสู่งาน Android ด้วย FoneClaw
ที่ FoneClaw เราออกแบบภาพให้เป็นข้อมูลของงานที่ใช้งานต่อได้ ผู้ใช้สามารถแนบภาพที่เลือก ถ่ายภาพ หรือส่งบริบทจากหน้าจอปัจจุบัน จากนั้นโมเดลที่กำหนดค่าอยู่ภายใน FoneClaw จะวิเคราะห์ภาพตามคำถาม ขณะที่ runtime รักษาความสัมพันธ์ระหว่างไฟล์ ขนาดภาพ บทสนทนา และเครื่องมือ Android ที่ต้องใช้ต่อ
ตัวอย่างที่ทดสอบได้ง่ายคือเปลี่ยนใบเสร็จเป็นโน้ตและเตือนความจำ:
- เลือกหรือถ่ายภาพใบเสร็จหนึ่งใบ แล้วตรวจว่าภาพเห็นชื่อร้าน วันที่ รายการ และยอดรวมครบ
- ถามคำถามแรกว่า “ยอดรวมและวันที่ในใบเสร็จนี้คืออะไร”
- ตรวจค่าที่ FoneClaw แสดงเทียบกับภาพต้นฉบับ โดยเฉพาะจุดทศนิยมและรูปแบบวันที่
- ถามต่อว่า “มีค่าจัดส่งหรือส่วนลดหรือไม่” เพื่อให้ระบบกลับไปวิเคราะห์บริเวณรายการและสรุปยอด
- ขอให้เตรียมโน้ตค่าใช้จ่ายพร้อมชื่อร้าน ยอดสุทธิ และวันที่
- ตรวจข้อความตัวอย่างก่อนยืนยันการสร้างโน้ต
- เปิดโน้ตที่สร้างแล้วและเทียบค่ากับข้อมูลที่ยืนยันจากภาพ
คำถามที่สองใช้หลักฐานคนละส่วนกับคำถามแรก FoneClaw จึงเตรียมภาพสำหรับการวิเคราะห์รอบใหม่ตามรายละเอียดที่ต้องหา หากไฟล์แนบต้องต่ออายุ ระบบจะดำเนินการผ่านเส้นทางที่รองรับและรักษาภาพเป้าหมายของงานไว้ การจัดการรายละเอียดภาพและการบีบอัดจะปรับตามงาน เพื่อให้ภาพรวมกับตัวอักษรขนาดเล็กได้รับข้อมูลที่เหมาะสม
ระหว่างงาน ผู้ใช้เห็นความคืบหน้าว่าระบบกำลังเปิดภาพ วิเคราะห์ เตรียมข้อมูล หรือใช้เครื่องมือใด หากสิทธิ์หมด แอปเปลี่ยนสถานะ หรือภาพเปิดไม่ได้ FoneClaw สามารถพาไปยังขั้นกู้คืนสิทธิ์ ขอเลือกไฟล์ใหม่ หรือกลับมาทำต่อจากข้อมูลที่ตรวจไว้แล้ว วิธีนี้ช่วยลดการเริ่มงานใหม่ทั้งชุดเมื่อปัญหาเกิดขึ้นหลังการวิเคราะห์หลายรอบ
งานต่อจากภาพควรเริ่มจากผลที่ย้อนกลับง่าย เช่น สร้างโน้ต เตรียมรายการ ตรวจข้อความผิดพลาด หรือวางร่างเตือนความจำ จากนั้นจึงขยับไปสู่งานที่เกี่ยวข้องกับการสื่อสารหรือการเปลี่ยนข้อมูลเมื่อผู้ใช้เห็นว่าการอ้างอิงภาพ การวิเคราะห์ซ้ำ และการตรวจผลทำงานตรงกับเครื่องและโมเดลที่เลือก
รายละเอียดความสามารถด้านภาพ บริบทหน้าจอ และเครื่องมือ Android ที่รองรับอยู่ใน หน้าฟีเจอร์ FoneClaw ภาษาไทย ส่วนผู้ใช้ที่ต้องการลองกระบวนการด้วยภาพความเสี่ยงต่ำสามารถเริ่มจาก หน้าดาวน์โหลด FoneClaw ภาษาไทย แล้วใช้ภาพที่ไม่มีข้อมูลอ่อนไหวเพื่อทดสอบการถามต่อ การวิเคราะห์ซ้ำ และการสร้างโน้ตที่ตรวจผลได้