Ngữ cảnh hình ảnh AI trên Android: giữ đúng ảnh và phân tích lại
Cách giữ cùng một ảnh trong cuộc trò chuyện AI, phân tích lại pixel khi câu hỏi thay đổi và xác minh tác vụ Android từ ảnh chụp hoặc ảnh màn hình.
- Ngữ cảnh hình ảnh liên tục cần giữ đúng tệp gốc, nguồn ảnh, kích thước, thời hạn truy cập và lịch sử phân tích trong suốt tác vụ.
- Ảnh từ trình chọn ảnh, camera và ảnh chụp màn hình có nguồn gốc, độ phân giải, quyền truy cập cùng thời hạn sử dụng khác nhau.
- Khi câu hỏi mới cần chi tiết chưa được đọc trước đó, trợ lý nên mở lại pixel gốc, chọn vùng phù hợp và đối chiếu kết quả trước khi hành động.
- FoneClaw duy trì tham chiếu hình ảnh cho tác vụ được hỗ trợ, phục hồi tệp đính kèm khi cần và đưa dữ liệu đã xác minh vào quy trình Android có xác nhận.
Ngữ cảnh liên tục của một hình ảnh nghĩa là gì?
Ngữ cảnh hình ảnh AI trên Android hoạt động tốt khi một bức ảnh vẫn là đầu vào có thể truy cập và kiểm tra trong toàn bộ tác vụ. Hãy hình dung bạn chụp một hóa đơn rồi hỏi tổng tiền. Sau đó, bạn hỏi khoản nào có thuế cao nhất, ngày thanh toán là khi nào và muốn tạo lời nhắc. Bốn yêu cầu cùng dựa trên một ảnh, nhưng mỗi yêu cầu cần bằng chứng hình ảnh khác nhau.
Có ba thành phần cần được giữ riêng. Thứ nhất là pixel gốc hoặc bản ảnh đủ chất lượng để đọc lại. Thứ hai là tham chiếu cho biết chính xác ảnh nào đang được dùng, ảnh đến từ đâu và quyền truy cập còn hiệu lực đến lúc nào. Thứ ba là các kết quả đã rút ra, chẳng hạn tổng tiền hoặc tên cửa hàng. Kết quả dạng văn bản giúp tiếp tục hội thoại nhanh hơn, nhưng thường chỉ chứa những chi tiết cần cho câu hỏi trước.
Một dòng thời gian ngắn cho thấy sự khác biệt:
- Người dùng chọn ảnh hóa đơn và hỏi tổng tiền.
- Trợ lý đọc vùng tổng cộng rồi trả lời.
- Người dùng hỏi tiếp về ngày đến hạn, vốn nằm ở một góc khác của ảnh.
- Trợ lý mở lại ảnh gốc, tập trung vào vùng ngày tháng và đối chiếu với nội dung đã đọc.
- Giá trị đã xác minh được đưa vào bản xem trước của lời nhắc.
Nếu trợ lý chỉ giữ câu trả lời “tổng cộng 850.000 đồng”, câu hỏi về ngày đến hạn sẽ thiếu dữ liệu. Nếu cuộc trò chuyện có nhiều ảnh, hệ thống còn phải biết ảnh hóa đơn nào đang hoạt động. Vì vậy, khả năng “nhớ ảnh” thực tế là sự phối hợp giữa tệp, danh tính ảnh, thời hạn truy cập và lịch sử phân tích.
Khi câu hỏi tiếp theo chỉ yêu cầu giải thích kết quả đã có, trợ lý có thể dùng phần phân tích trước. Khi câu hỏi chuyển sang chữ nhỏ, một vật thể khác, vùng bị cắt hoặc chi tiết chưa từng kiểm tra, pixel cần được phân tích lại. Cách làm này giúp giữ cùng một ảnh qua nhiều lượt mà vẫn cập nhật bằng chứng theo đúng câu hỏi.
Chọn đúng ảnh từ thư viện, camera hoặc màn hình
Chất lượng của tác vụ bắt đầu từ cách lấy ảnh. Android cung cấp nhiều đường khác nhau, và mỗi đường phù hợp với một loại nguồn. Trình chọn ảnh thích hợp cho ảnh đã có trong thư viện. Camera phù hợp khi cần ghi lại tài liệu hoặc vật thể mới. Chụp màn hình phù hợp với lỗi ứng dụng, giao diện, mã đơn hoặc nội dung đang hiển thị.
| Nguồn ảnh | Phù hợp nhất với | Điểm cần kiểm tra |
|---|---|---|
| Trình chọn ảnh | Hóa đơn, tài liệu, ảnh sản phẩm hoặc ảnh đã lưu | Đúng tệp, quyền đọc còn hiệu lực, độ phân giải và thông tin nhạy cảm trong khung hình |
| Camera | Tài liệu giấy, nhãn thiết bị, hư hỏng vật thể hoặc cảnh vừa xuất hiện | Ảnh đầy đủ hay ảnh thu nhỏ, độ nét, ánh sáng, xoay ảnh và vị trí tệp đã lưu |
| Chụp màn hình | Thông báo lỗi, giao diện ứng dụng, trạng thái đơn hoặc nội dung màn hình | Phạm vi màn hình được chia sẻ, sự đồng ý của người dùng, vùng bị che và thời điểm chụp |
Theo hướng dẫn trình chọn ảnh của Android, người dùng có thể cấp quyền cho những ảnh hoặc video được chọn thay vì mở toàn bộ thư viện. Ứng dụng nhận URI của tệp đã chọn và có thể cần duy trì quyền truy cập khi tác vụ kéo dài. Đây là đường phù hợp khi người dùng đã biết chính xác ảnh cần phân tích.
Với camera, tài liệu Android về chụp ảnh qua ứng dụng camera mô tả cách chuyển yêu cầu chụp tới camera và nhận dữ liệu ảnh hoặc kết quả đã lưu. Ảnh thu nhỏ có thể đủ để nhận diện bố cục lớn, trong khi chữ nhỏ, số sê-ri hoặc tình trạng bề mặt thường cần tệp có độ phân giải đầy đủ.
Đối với ảnh màn hình, hướng dẫn MediaProjection của Android nêu rõ mỗi phiên chụp cần sự đồng ý của người dùng và sử dụng mã cấp quyền một lần. Tùy luồng hệ thống, người dùng có thể chọn toàn màn hình hoặc một cửa sổ ứng dụng. Bài Trợ lý AI nổi Android với ngữ cảnh màn hình hiện tại hướng dẫn sâu hơn cách đưa nội dung đang hiển thị vào một tác vụ có chủ đích.
Sau khi lấy ảnh, hãy kiểm tra bốn yếu tố trước câu hỏi đầu tiên: ảnh có đúng đối tượng không, phần cần đọc có nằm trọn trong khung không, hướng ảnh có chính xác không và khu vực nhạy cảm nào cần che hoặc cắt. Một lần kiểm tra ngắn ở đầu quy trình tránh việc trợ lý phân tích rất kỹ nhưng dựa trên nguồn sai.
Giữ một tham chiếu ảnh ổn định qua nhiều lượt hỏi
Một tham chiếu ổn định phải trả lời được câu hỏi đơn giản: “Lượt hỏi này đang dùng chính xác ảnh nào?”. Tên tệp thường chưa đủ vì hai ảnh có thể trùng tên, bị chỉnh sửa hoặc được chọn lại từ nguồn khác. Tác vụ cần một danh tính gắn với ảnh, nguồn lấy, thời điểm ghi nhận và cuộc trò chuyện hiện tại.
Thông tin tối thiểu nên được duy trì gồm:
- Danh tính duy nhất của ảnh trong tác vụ.
- Nguồn ảnh: trình chọn ảnh, camera hay chụp màn hình.
- Loại MIME và định dạng thực tế.
- Chiều rộng, chiều cao và hướng hiển thị.
- Tham chiếu cục bộ hoặc từ xa đang còn quyền truy cập.
- Thời điểm chọn hoặc chụp ảnh.
- Tác vụ, cuộc trò chuyện và lượt hỏi đang sử dụng ảnh.
- Những vùng đã được phân tích cùng kết quả đã xác minh.
Kích thước ảnh ảnh hưởng trực tiếp đến cách hiểu vị trí. Nếu một hệ thống đọc nút ở tọa độ trên bản xem trước đã thu nhỏ rồi áp dụng tọa độ đó cho ảnh gốc, vùng cắt có thể lệch. Việc lưu chiều rộng, chiều cao và hướng giúp chuyển đổi vùng ảnh chính xác hơn khi cần đọc lại chữ nhỏ hoặc so sánh một chi tiết.
Thời hạn truy cập cũng là một phần của tham chiếu. URI từ trình chọn ảnh có thể chỉ dùng tạm thời, còn tác vụ dài hơn có thể cần quyền truy cập được duy trì theo cơ chế Android hỗ trợ. Tham chiếu từ xa cũng có thời hạn riêng. Khi quyền hết hiệu lực, hệ thống nên gia hạn bằng đường được phép hoặc yêu cầu người dùng chọn lại đúng ảnh.
Trong FoneClaw, chúng tôi giữ kích thước và tham chiếu ảnh cùng trạng thái tác vụ để các câu hỏi tiếp theo tiếp tục trỏ về đúng tài sản. Khi quyền truy cập cần được làm mới, luồng phục hồi ưu tiên nối lại ảnh đã chọn hoặc đã chụp. Cách này bảo vệ tính liên tục của tác vụ và giảm nguy cơ một tệp mới vô tình thay thế ảnh đang được phân tích.
Khi nào cần phân tích lại pixel gốc?
Phân tích lại hình ảnh bằng AI cần bắt đầu từ câu hỏi mới, thay vì mặc định lặp lại toàn bộ mô tả cũ. Trợ lý trước hết xác định bằng chứng hiện có đã đủ hay chưa. Nếu phần phân tích trước chứa đúng trường dữ liệu và còn gắn với ảnh đang hoạt động, kết quả đó có thể được dùng tiếp. Nếu câu hỏi yêu cầu một vùng hoặc mức chi tiết mới, hệ thống mở lại pixel.
Mỗi câu hỏi dưới đây tạo ra một lý do phân tích lại khác nhau:
- “Tổng thanh toán là bao nhiêu?” yêu cầu đọc dòng tổng cộng và phân biệt nó với tổng trước thuế.
- “Khoản phí nào làm số tiền tăng?” yêu cầu đọc từng dòng, thuế và phụ phí.
- “Thông báo lỗi ghi mã gì?” cần tập trung vào vùng chữ nhỏ trong ảnh màn hình.
- “Vết nứt có lan tới cạnh máy không?” cần xem chi tiết vật thể ở độ phân giải phù hợp.
Việc chuẩn bị yêu cầu đa phương thức cũng ảnh hưởng tới kết quả. Ảnh lớn có thể được nén hoặc điều chỉnh để phù hợp ngân sách xử lý của mô hình. Nén giúp giảm dữ liệu, nhưng chữ nhỏ và hoa văn mảnh có thể mất rõ nét. Một câu hỏi mới về chi tiết nhỏ nên kích hoạt bản ảnh chất lượng cao hơn hoặc vùng cắt tập trung, thay vì chỉ tái sử dụng bản xem trước đã nén.
Quy trình tốt gồm bốn bước: nêu trường dữ liệu cần tìm, chọn ảnh và vùng liên quan, phân tích ở độ chi tiết phù hợp, rồi so sánh với kết quả trước. Khi hai lần đọc cho giá trị khác nhau, tác vụ tiếp theo chuyển sang trạng thái chờ xác minh. Người dùng có thể phóng to vùng ảnh, chọn lại tệp hoặc nhập giá trị đúng trước khi tạo lịch, ghi chú hay tin nhắn.
Pixel cũng chưa phải nguồn duy nhất cho mọi câu hỏi về giao diện. Cây UI có thể cung cấp nhãn, vai trò và cấu trúc nút; ảnh chụp cho biết bố cục, màu sắc, biểu tượng và nội dung vẽ tùy chỉnh. Bài AI agent Android hiểu màn hình: chọn cây UI hay ảnh chụp giúp chọn nguồn bằng chứng phù hợp khi ảnh đơn thuần chưa đủ.
Trong FoneClaw, một câu hỏi tiếp theo có thể kích hoạt việc chuẩn bị lại ảnh đang được gắn với tác vụ. Hệ thống cân đối độ phân giải, lượng dữ liệu hình ảnh và ngữ cảnh hội thoại, đồng thời làm mới tệp đính kèm khi quyền truy cập cần được nối lại. Người dùng vẫn thấy tiến trình và có thể kiểm tra phát hiện mới trước khi chuyển sang hành động.
Xác minh hành động và phục hồi khi ngữ cảnh ảnh bị lỗi
Dữ liệu nhận ra từ ảnh chỉ nên trở thành hành động sau một bước xem lại phù hợp với mức tác động. Với một ghi chú cá nhân, người dùng có thể duyệt nhanh tiêu đề và nội dung. Với lịch hẹn, cần kiểm tra ngày, giờ và múi giờ. Với tin nhắn hoặc dữ liệu tài chính, người nhận, số tiền và nội dung cần được trình bày rõ trước khi cam kết.
| Dấu hiệu lỗi | Điều có thể đã xảy ra | Cách phục hồi |
|---|---|---|
| Ảnh mở được ở lượt đầu nhưng mất ở lượt sau | Quyền URI hoặc tham chiếu tạm thời đã hết hiệu lực | Làm mới quyền theo luồng được hỗ trợ hoặc yêu cầu chọn lại đúng ảnh |
| Kết quả mô tả một nội dung khác | Ảnh hoạt động bị đổi hoặc tác vụ gắn nhầm tệp | Hiển thị ảnh thu nhỏ, nguồn và thời điểm để người dùng chọn lại |
| Chữ nhỏ được đọc khác nhau | Độ phân giải, nén hoặc vùng cắt chưa phù hợp | Mở ảnh gốc, cắt sát vùng chữ và phân tích lại |
| Giá trị đã đúng nhưng hành động chưa xuất hiện | Công cụ, quyền hoặc trạng thái ứng dụng đích chưa sẵn sàng | Giữ dữ liệu đã duyệt, phục hồi quyền rồi tiếp tục từ bước hành động |
| Ứng dụng báo hoàn tất nhưng chưa thấy dữ liệu | Bước giao diện đã chạy nhưng kết quả cuối chưa được xác minh | Kiểm tra màn hình, bản ghi, lịch hoặc ghi chú sau hành động |
Một quy trình hoàn chỉnh gồm bản xem trước, xác nhận, thực hiện và kiểm tra sau hành động. Ví dụ, sau khi đọc ngày đến hạn từ hóa đơn, trợ lý tạo bản xem trước lời nhắc. Người dùng sửa ngày nếu cần, xác nhận lưu, rồi hệ thống kiểm tra sự kiện hoặc lời nhắc vừa được tạo. Thành công được xác định bằng kết quả hiển thị, thay vì chỉ dựa vào thao tác chạm đã gửi.
Khi tệp hết hạn, hệ thống cần giữ danh tính tác vụ và yêu cầu nối lại đúng nguồn. Việc tự chuyển sang ảnh mới nhất trong thư viện có thể tạo một kết quả hợp lý nhưng sai đối tượng. Phục hồi minh bạch giúp người dùng biết ảnh nào đã mất quyền truy cập, ảnh nào được chọn lại và phần phân tích nào cần chạy lại.
Kiểm soát quyền truy cập và thời gian lưu ảnh
Quyền hẹp giúp người dùng chia sẻ đúng nội dung cần cho tác vụ. Hướng dẫn Android về giảm phạm vi yêu cầu quyền khuyến nghị các đường truy cập tập trung như trình chọn ảnh. Người dùng chọn từng tệp, còn ứng dụng nhận quyền đọc tạm thời cho nội dung đó.
Trước, trong và sau tác vụ, hãy áp dụng danh sách sau:
- Trước khi chia sẻ: chọn đúng ảnh, cắt vùng thừa, kiểm tra tên, địa chỉ, mã tài khoản, thông báo và ảnh thu nhỏ nền.
- Trong khi phân tích: giữ ảnh gắn với đúng tác vụ, chỉ mở độ phân giải hoặc vùng ảnh cần cho câu hỏi hiện tại và xem lại dữ liệu được trích xuất.
- Trước khi hành động: xác nhận trường quan trọng như ngày, người nhận, số tiền, địa điểm và nội dung.
- Sau khi hoàn tất: quyết định ảnh còn cần cho lượt hỏi tiếp theo hay có thể được gỡ khỏi tác vụ.
- Khi phạm vi thay đổi: chọn lại ảnh hoặc bắt đầu phiên chụp mới để quyền phản ánh đúng mục tiêu mới.
Quyền MediaProjection gắn với phiên chụp mà người dùng đã đồng ý. URI tạm thời từ trình chọn ảnh có vòng đời khác quyền được duy trì cho một tác vụ dài hơn. Việc lưu ảnh lâu hơn cuộc trò chuyện nên xuất phát từ lựa chọn rõ ràng của người dùng, thay vì mặc định của mọi quy trình hình ảnh.
Quyền truy cập hẹp vẫn cần đi cùng quyết định ở cấp tác vụ: ảnh nào được dùng, câu hỏi nào được gửi, vùng nào chứa dữ liệu nhạy cảm và khi nào tham chiếu được xóa. Bài Trợ lý AI chủ động trên điện thoại: ngữ cảnh, quyền và kiểm soát mở rộng các nguyên tắc này sang thông báo, vị trí và ngữ cảnh điện thoại khác.
Quy trình từ hình ảnh đến hành động trong FoneClaw
Chúng tôi xây quy trình hình ảnh của FoneClaw để một ảnh được chọn hoặc chụp có thể tiếp tục phục vụ nhiều lượt hỏi. Mô hình tương thích được cấu hình bên trong FoneClaw đảm nhiệm phần hiểu hình ảnh và lập kế hoạch. FoneClaw giữ tham chiếu, điều phối công cụ Android được hỗ trợ, hiển thị tiến trình và đưa bước có tác động tới điểm xác nhận.
Có thể thử bằng một hóa đơn hoặc ảnh chụp màn hình lỗi theo năm bước:
- Đính kèm một ảnh: chọn ảnh từ thư viện, chụp ảnh mới hoặc cung cấp ảnh màn hình bằng luồng có sự đồng ý.
- Đặt câu hỏi đầu tiên: yêu cầu xác định tổng tiền, tên lỗi hoặc nội dung chính và kiểm tra ảnh thu nhỏ đang hoạt động.
- Đặt câu hỏi khác: hỏi ngày đến hạn, mã lỗi hoặc một chi tiết nhỏ để FoneClaw chuẩn bị lại ảnh và phân tích vùng cần thiết.
- Tạo bản xem trước: chuyển dữ liệu đã xác minh thành ghi chú, lời nhắc, sự kiện hoặc tác vụ Android nằm trong phạm vi hỗ trợ.
- Xác nhận và kiểm tra: duyệt các trường quan trọng, thực hiện hành động rồi kiểm tra kết quả trên màn hình hoặc bản ghi đích.
Nếu quyền ảnh hết hiệu lực, FoneClaw hướng người dùng làm mới hoặc chọn lại tài sản thay vì đổi ngầm sang tệp khác. Nếu hai lần phân tích đưa ra giá trị xung đột, tiến trình dừng ở bước xác minh. Nếu ứng dụng đích chưa sẵn sàng, dữ liệu đã duyệt được giữ trong tác vụ để tiếp tục sau khi quyền hoặc trạng thái được phục hồi.
Khả năng cụ thể phụ thuộc phiên bản Android, quyền đã cấp, trạng thái ứng dụng, khu vực, năng lực của mô hình và phạm vi tác vụ được hỗ trợ. Một hóa đơn rõ nét hoặc ảnh lỗi ít dữ liệu nhạy cảm là điểm thử phù hợp trước khi đưa hình ảnh vào quy trình dài hơn.
Người dùng có thể xem các tính năng hình ảnh và ngữ cảnh của FoneClaw, sau đó mở trang tải FoneClaw cho Android để thử một tác vụ ít rủi ro. Tiêu chuẩn đánh giá rất cụ thể: đúng ảnh được giữ qua nhiều lượt, câu hỏi mới mở lại đúng pixel, dữ liệu được xem trước và hành động cuối có kết quả kiểm chứng được.