سياق الصور بالذكاء الاصطناعي على Android: دليل إعادة التحليل

ما معنى استمرار سياق الصورة على Android؟

يظهر سياق الصور بالذكاء الاصطناعي على Android عندما تستمر مهمة واحدة عبر عدة أسئلة مرتبطة بالصورة نفسها. قد ترفق إيصالًا وتسأل عن المبلغ الإجمالي، ثم تطلب استخراج تاريخ الشراء، وبعد ذلك تريد إنشاء ملاحظة بالمصروف. لكي تنجح المهمة، يجب أن يعرف المساعد أي صورة ما زالت نشطة، وأن يستطيع الرجوع إلى بكسلاتها بدل الاعتماد على أول إجابة كتبها عنها.

هناك ثلاثة أشياء منفصلة داخل هذا المسار. الأول هو ملف الصورة نفسه بما يحتويه من بكسلات. والثاني هو المرجع الذي يسمح للتطبيق بإعادة فتح الملف، مثل URI محلي أو مرجع محفوظ صالح للمهمة. والثالث هو النتائج النصية السابقة، مثل «المجموع 128 ريالًا» أو «التاريخ في أعلى الإيصال». حفظ النتيجة النصية وحدها لا يحفظ جميع الأدلة المرئية التي قد يحتاج إليها سؤال لاحق.

قد تكون الإجابة الأولى صحيحة في نطاقها ومحدودة في الوقت نفسه. عندما يسأل المستخدم عن المجموع، يركز التحليل على منطقة الأرقام النهائية. وإذا سأل لاحقًا عن ضريبة القيمة المضافة أو اسم الفرع، فقد لا تحتوي الإجابة السابقة على هذه التفاصيل. هنا ينبغي أن يعيد المساعد فتح الصورة الأصلية، ويحدد المنطقة المناسبة، ويحللها وفق السؤال الجديد.

1. يرفق المستخدم صورة إيصال ويسأل عن المبلغ النهائي.
2. يربط المساعد النتيجة بمرجع الصورة النشطة ويحتفظ بأبعادها ومصدرها.
3. يسأل المستخدم عن بند معين، فيعاد تحليل جدول المنتجات بدل إعادة صياغة الإجابة الأولى.
4. يطلب المستخدم إنشاء ملاحظة، فتُعرض القيم المستخرجة للمراجعة قبل الحفظ.
5. بعد الحفظ، يتحقق المساعد من ظهور الملاحظة أو يعرض مسار الاسترداد.

استمرار السياق لا يعني مراقبة الكاميرا أو الشاشة بصورة متواصلة. هو استمرار مقصود لأصل بصري اختاره المستخدم أو التقطه أو وافق على مشاركته في مهمة محددة. وتبقى هوية الصورة واضحة حتى لا ينتقل سؤال المتابعة بالخطأ إلى لقطة أقدم أو صورة أخرى أضيفت إلى المحادثة.

اختيار الصورة الصحيحة أو التقاطها

تبدأ جودة التحليل من المصدر. يمكن للمستخدم اختيار صورة محفوظة، أو التقاط صورة جديدة بالكاميرا، أو إنشاء لقطة للشاشة الحالية. كل طريق مناسب لغرض مختلف، وله طريقة وصول وجودة ومصدر يجب تسجيلها قبل بدء التحليل.

يوضح دليل Android لاستخدام منتقي الصور أن المستخدم يستطيع منح التطبيق وصولًا إلى صور أو مقاطع محددة بدل فتح المكتبة كلها. يعيد المنتقي مراجع URI للمواد المختارة، وقد يحتاج العمل الممتد إلى تثبيت صلاحية القراءة وفق المسار الذي يسمح به Android. هذا يجعل مصدر الصورة واضحًا، لكنه يظل بحاجة إلى إدارة سليمة طوال مدة المهمة.

أما إرشادات Android لالتقاط الصور عبر تطبيق الكاميرا فتوضح إمكان تفويض الالتقاط إلى تطبيق الكاميرا ثم استلام بيانات الصورة أو نتيجة محفوظة. ينبغي التمييز بين معاينة صغيرة ترجع سريعًا وصورة كاملة الدقة محفوظة في وجهة محددة. قد تكفي المعاينة للتعرف إلى جسم كبير، لكنها قد تفقد أرقام إيصال أو نصًا صغيرًا يحتاج إلى الصورة الأصلية.

لقطة الشاشة تتطلب مسارًا أوضح للموافقة. وفق توثيق Android لالتقاط الشاشة، يحتاج استخدام MediaProjection إلى موافقة المستخدم لكل جلسة التقاط، ويستخدم رمز وصول مخصصًا لتلك الجلسة. وقد يلتقط المستخدم الشاشة كاملة أو نافذة تطبيق مختارة بحسب المسار المتاح. بذلك يعرف المستخدم ما الذي يدخل إلى المهمة ومتى تبدأ جلسة الالتقاط.

قبل الإرفاق، راجع القص والاتجاه والدقة. صورة جانبية أو مقصوصة قد تحذف الرقم المرجعي أو رسالة الخطأ. كما ينبغي النظر إلى المناطق المحيطة بالهدف: قد تعرض لقطة الشاشة إشعارًا شخصيًا أو اسم حساب لا تحتاج إليه المهمة. قص الصورة إلى الجزء المفيد عندما يكون السياق الخارجي غير ضروري.

إذا كان المطلوب هو جلب الشاشة الحالية من نافذة عائمة ثم طرح أسئلة عنها، يشرح دليل مساعد ذكاء اصطناعي عائم على Android: استخدام الشاشة الحالية بأمان خطوات اختيار السياق ومراجعته قبل الإرفاق.

الحفاظ على مرجع ثابت للصورة

بعد اختيار الصورة، يجب أن تظل هويتها مستقرة عبر أسئلة المتابعة. المرجع الثابت لا يعني عنوانًا يعمل إلى الأبد؛ المقصود سجل واضح يربط المهمة بالصورة المختارة، ويحتفظ بالمعلومات اللازمة لإعادة فتحها أو طلب تجديد الوصول إليها عند انتهاء الصلاحية.

أقل سجل مفيد يتضمن هوية داخلية للصورة، ومصدرها، ووقت اختيارها أو التقاطها، ونوع الملف، وأبعاد العرض والارتفاع، والمرجع المحلي أو البعيد الصالح حاليًا، والمحادثة أو المهمة المرتبطة بها. وإذا وُجدت عدة صور، يحتاج كل سؤال إلى تحديد الأصل النشط أو المجموعة التي يقارن بينها.

• هوية ثابتة تمنع استبدال الصورة بصورة أخرى تحمل اسمًا مشابهًا.
• مصدر موضح: منتقي الصور أو الكاميرا أو لقطة الشاشة.
• نوع ملف معروف يساعد على فك الصورة بصورة صحيحة.
• عرض وارتفاع محفوظان لتفسير القص والإحداثيات والاتجاه.
• مرجع وصول صالح يمكن تجديده أو إعادة اختياره عند الحاجة.
• ارتباط صريح بالمهمة الحالية وسجل الأسئلة التي استخدمت الصورة.

للأبعاد أثر مباشر في المعنى. إذا ذكر التحليل أن زرًا يقع في الربع السفلي الأيمن، فإن تدوير الصورة أو ضغطها إلى نسبة مختلفة قد يغير موضعه. وعندما يطلب المستخدم تكبير رقم صغير، ينبغي حساب القص بالرجوع إلى أبعاد الأصل، لا إلى نسخة معاينة قد تغيرت أحجامها.

قد تكون صلاحية URI مؤقتة. يستطيع التطبيق استخدام المرجع في اللحظة الحالية، ثم يفقد الوصول بعد انتهاء الجلسة أو تغير حالة الملف. في هذه الحالة، يعرض المساعد الصورة المعنية ويطلب إعادة اختيارها أو يجدد الوصول بالطريقة التي يسمح بها Android. الحفاظ على الهوية يعني تجديد المرجع للصورة نفسها، لا البحث بصمت عن ملف آخر قريب في الاسم أو التاريخ.

في FoneClaw نحافظ على أبعاد الصورة ومراجعها المتاحة داخل سياق المهمة، ونجهز المرفق مجددًا عندما تحتاج مكالمة التحليل التالية إلى وصول متجدد. ما تعلمناه من بناء هذا المسار أن اسم الملف وحده ضعيف؛ الربط بين الأصل والمهمة والأبعاد وحالة الوصول هو الذي يمنع فقدان المرفق أو تبديله أثناء العمل الطويل.

إعادة تحليل الصورة عند تغير السؤال

إعادة تحليل الصور بالذكاء الاصطناعي تبدأ بقرار بسيط: هل تحتوي النتائج السابقة على الدليل المطلوب للسؤال الجديد؟ إذا كان السؤال يعيد طلب المعلومة نفسها بصياغة أخرى، فقد تكفي النتيجة المحفوظة. أما إذا انتقل إلى منطقة أو تفصيل أو غرض جديد، فيجب الرجوع إلى البكسلات الأصلية.

في إيصال شراء، سؤال «ما المجموع؟» يركز على خانة الإجمالي. سؤال المتابعة «هل أضيفت رسوم توصيل؟» يحتاج إلى فحص بنود أخرى. وفي لقطة رسالة خطأ، قد يحدد التحليل الأول اسم التطبيق، بينما يتطلب سؤال «ما رمز الخطأ الكامل؟» تكبير النص الصغير وإعادة القراءة. أما صورة جهاز متضرر فتحتاج زاوية ودقة مختلفتين عند الانتقال من التعرف إلى فحص حالة سطحه.

تسير الحلقة العملية في خمس خطوات: تحديد السؤال الجديد، ومراجعة النتائج السابقة، واختيار الصورة الأصلية، وتحديد القص أو الدقة المناسبة، ثم مقارنة النتيجة الجديدة بما سُجل سابقًا. إذا اتفقت النتائج، يمكن نقل القيمة إلى خطوة لاحقة. وإذا تعارضت، تتوقف المهمة عند نقطة المراجعة ويعرض المساعد المنطقتين أو القراءتين للمستخدم.

تؤثر ميزانية الصور والضغط في مقدار التفاصيل التي يصل إليها النموذج. نسخة مضغوطة قد تكون مناسبة لوصف المشهد العام، بينما تحتاج الأرقام الصغيرة والرموز الدقيقة إلى قص أقرب أو صورة أعلى دقة. الضغط يقلل الحجم وزمن الإرسال، لكنه قد يطمس حواف الحروف أو العلامات الدقيقة؛ لذلك ينبغي أن يتبع مستوى التحضير نوع السؤال.

قد تكون شجرة واجهة Android أفضل من لقطة الشاشة لبعض الأسئلة. إذا كان الهدف معرفة نص زر أو حالته أو العنصر القابل للنقر، توفر البيانات المنظمة دليلًا قد يكون أدق من قراءة البكسلات. أما الصور والرسوم والأخطاء المرسومة داخل واجهة مخصصة فتحتاج إلى اللقطة. يشرح دليل فهم الشاشة لوكيل ذكاء اصطناعي على أندرويد: شجرة الواجهة أم لقطة الشاشة؟ كيفية اختيار المصدر المناسب أو الجمع بينهما.

في FoneClaw نعيد تجهيز الصورة الأصلية للسؤال الجديد، ونراعي الأبعاد وحجم المدخل المرئي والضغط وتجديد المرفق. تظهر للمستخدم حالة التحليل أثناء المهام الأطول. وعندما تكون التفاصيل غير كافية أو تتعارض مع قراءة سابقة، يبقى الانتقال إلى الإجراء معلقًا إلى أن يراجع المستخدم القيمة أو يقدم صورة أوضح.

التحقق من الإجراء واستعادة المسار

لا تنتهي المهمة عند تعرف النموذج إلى رقم أو اسم. إذا ستتحول النتيجة إلى ملاحظة أو موعد أو رسالة أو إعداد، ينبغي عرض القيم المؤثرة قبل الالتزام. فقد يقرأ المساعد تاريخًا صحيحًا بصيغة مختلفة عن تقويم المستخدم، أو يخلط بين المجموع والرصيد المستحق، أو يلتقط رقمًا من إيصال آخر ظاهر في الصورة.

ابدأ بمعاينة منظمة. اعرض اسم الحقل والقيمة ومصدرها داخل الصورة، مثل «المبلغ: 128.50» و«التاريخ: 24 أغسطس». إذا كانت الصورة تحتوي على أكثر من قيمة محتملة، أظهر البدائل بدل اختيار واحد بصمت. بعد موافقة المستخدم، يمر الطلب إلى أداة Android المدعومة، ثم يجري فحص النتيجة في التطبيق أو السجل المناسب.

النجاح يحتاج إلى دليل بعد الإجراء. عند إنشاء ملاحظة، افتحها أو اعرض سجل إنشائها. وعند إعداد تذكير، تحقق من العنوان والوقت في تطبيق التقويم أو المهام. وإذا جُهزت رسالة، اعرض المسودة والجهة المقصودة قبل الإرسال. بهذه الطريقة لا تتحول قراءة صحيحة للصورة إلى إجراء خاطئ بسبب حقل أو تطبيق أو حساب غير مناسب.

درجة الثقة تساعد على ترتيب الحاجة إلى المراجعة، لكنها لا تحسم صحة القيمة. الأرقام المالية وأرقام الحسابات والتواريخ والجهات المستلمة تستحق مراجعة مباشرة مهما بدت القراءة واضحة. وعندما يكون الأصل نفسه غير كاف، يكون طلب صورة أوضح هو أقصر مسار لاستعادة المهمة.

أذونات ضيقة واحتفاظ مقصود

أفضل نقطة بداية للخصوصية هي منح الوصول إلى الصورة المطلوبة فقط. يوصي دليل Android لتقليل طلبات الأذونات بمسارات ضيقة مثل منتقي الصور، الذي يمنح قراءة مؤقتة للمواد التي اختارها المستخدم. هذا يناسب مهمة تحليل إيصال واحد أو صورة واحدة من دون توسيع نطاق الوصول إلى المكتبة بأكملها.

قبل الإرفاق، راجع محتوى الصورة وحدد ما إذا كانت تشمل اسمًا أو عنوانًا أو رمزًا أو إشعارًا خارج هدف المهمة. يمكن للقص أو إعادة الالتقاط أن يقلل البيانات المشاركة ويحسن التحليل في الوقت نفسه. وإذا احتاج السؤال اللاحق إلى جزء حُذف سابقًا، يستطيع المستخدم الرجوع إلى الأصل واختيار قص جديد بصورة مقصودة.

أثناء المهمة، يجب أن يظل الأصل النشط ظاهرًا وأن تعرف متى يعاد إرساله للتحليل. لا يحتاج كل سؤال نصي إلى رفع الصورة من جديد، لكن السؤال المرئي الجديد يحتاج إلى الوصول إلى البكسلات المناسبة. كما ينبغي أن يوضح التطبيق عندما انتهت الصلاحية ويطلب تجديد المرجع بدل توسيع الوصول تلقائيًا.

بعد انتهاء المهمة، افصل بين مدة تنفيذ المهمة والاحتفاظ الطويل. قد تحتاج المحادثة إلى المرجع أثناء سلسلة أسئلة قصيرة، بينما لا توجد حاجة تشغيلية إلى إبقائه بعد حذف المهمة أو المرفق. وإذا اختار المستخدم حفظ النتيجة في ملاحظة، يمكن الاحتفاظ بالنص المراجع مع إزالة الصورة وفق اختياره.

• قبل المهمة: اختر أصلًا واحدًا، وراجع المناطق الحساسة، واضبط القص والاتجاه.
• أثناء المهمة: تحقق من معاينة الأصل النشط، ووافق على جلسة التقاط الشاشة عند الحاجة، وراجع أي تجديد للوصول.
• بعد المهمة: افحص النتيجة، واحذف المرفق أو المهمة عندما ينتهي الغرض، وأوقف جلسة التقاط الشاشة.

تحتاج جلسة MediaProjection إلى موافقة خاصة بها، كما تختلف صلاحية الوصول المؤقت إلى URI عن الصلاحية المثبتة لعمل أطول. اختيار المدة المناسبة يمنح المستخدم سيطرة عملية على السياق. ولمن يريد توسيع هذه المبادئ إلى الاقتراحات والمعلومات التي يستخدمها المساعد قبل الطلب، يقدم دليل المساعد الاستباقي على الهاتف: السياق والاقتراحات وضوابط الخصوصية إطارًا أوسع.

مسار عملي للصور داخل FoneClaw

يمكن اختبار سياق الصور المستمر داخل FoneClaw بمهمة منخفضة المخاطر، مثل تحويل إيصال إلى ملاحظة مصروف أو تحويل لقطة خطأ إلى تذكير للمراجعة. يبدأ المستخدم بصورة واحدة، ثم يطرح سؤالين يحتاج كل منهما إلى دليل بصري مختلف، وبعدها يراجع الإجراء المقترح ويتحقق من نتيجته.

1. أرفق الأصل: اختر الإيصال من منتقي الصور أو التقطه بالكاميرا، ثم افحص المعاينة والأبعاد والوضوح.
2. اطرح السؤال الأول: اسأل عن اسم المتجر والمبلغ الإجمالي. يعالج FoneClaw الصورة من خلال النموذج المهيأ داخل الوكيل ويحفظ النتائج مرتبطة بالأصل.
3. غيّر زاوية السؤال: اطلب تاريخ الشراء وبنود الضريبة أو التوصيل. يعيد FoneClaw تجهيز الصورة وتحليل المناطق المناسبة بدل الاعتماد على الملخص الأول وحده.
4. راجع التعارضات: إذا ظهرت قيمتان محتملتان، كبّر المنطقة أو أعد الالتقاط، ثم اختر القيمة الصحيحة.
5. عاين الإجراء: اطلب إنشاء ملاحظة بالمبلغ والتاريخ واسم المتجر، وراجع النص قبل الحفظ.
6. تحقق من النتيجة: بعد استخدام أداة الملاحظات المدعومة، افتح السجل أو اعرض الملاحظة للتأكد من الحقول.

تتعامل آلية المرفقات الحالية في FoneClaw مع الصور المختارة والملتَقطة بوصفها مدخلات قابلة للرجوع إليها داخل المهمة. نحافظ على الأبعاد والمراجع المتاحة، ونجدد الوصول عندما يحتاج التحليل التالي إلى مرفق صالح. كما نهيئ الطلب متعدد الوسائط وفق حجم الصورة والسؤال، ونستخدم الضغط أو القص بطريقة تناسب التفاصيل المطلوبة.

إذا كانت الصورة لقطة شاشة لخطأ، يمكن أن يبدأ السؤال باسم التطبيق ونص الرسالة. ثم يطلب المستخدم تحديد الزر المناسب أو استخراج رمز الخطأ الكامل. بعد إعادة التحليل، يستطيع FoneClaw فتح إعداد أو تطبيق مدعوم، أو إنشاء تذكير بالمشكلة، مع عرض التقدم وأي إذن أو تأكيد مطلوب. يلي ذلك فحص الشاشة أو السجل للتأكد من أن الخطوة حققت هدفها.

تتأثر النتيجة بإصدار Android والأذونات وحالة التطبيق والمنطقة وقدرة النموذج ونطاق المهمة. لذلك نعرض التعذر ونقطة الاسترداد عندما ينتهي مرجع أو تتغير الشاشة أو يحتاج التطبيق إلى إذن. يستطيع المستخدم إعادة اختيار الصورة، أو تجديد الوصول، أو إعادة المحاولة من آخر خطوة مؤكدة من دون تبديل الأصل بصمت.

يمكن مراجعة إمكانات الصور وسياق الشاشة والأدوات المدعومة في ميزات FoneClaw، ثم بدء تجربة بإيصال أو لقطة غير حساسة من صفحة تنزيل FoneClaw. الاختبار الجيد بسيط: صورة واحدة، سؤالان مختلفان، إجراء قابل للرجوع، ونتيجة تستطيع التحقق منها على الهاتف.