حول إضافة Vision Assistant Pro.

إضافة Vision Assistant Pro لقارئ الشاشة NVDA هي إضافة تتيح خصائص كثيرة بالاعتماد على الذكاء الاصطناعي, وتحديدًا نماذج Gemini.
تشمل الخصائص قراءة الشاشة, الترجمة, الإملاء الصوتي, تحليل المستندات, تحويل الملفات الصوتية إلى نص, وصف الصور, تنفيذ OCR على ملفات .pdf, وحل رموز CAPTCHA وغير ذلك.
قام مطور الإضافة بإطلاقها بمناسبة اليوم العالمي لذوي الإعاقة.

إعداد الإضافة:

بعد تثبيت الإضافة, انتقل إلى إعداداتها في إعدادات NVDA حيث ستجد:

• Gemini API Key: لإدخال مفتاح Gemini من Google AI Studio طريقة الحصول على مفتاح في نهاية الشرح.
• AI Model: تحدد النموذج المستخدم في الاستجابة, أحدث إصدار متوفر هو gemini-2.5-flash-lite وهو الأسرع والأقل تكلفة, يمكنك اختيار نموذج آخر إذا كنت تفضل ذلك.
• Proxy URL: لاستخدام وكيل في الاتصال إذا كانت الخدمة محظورة في بلدك.
• Languages, Source, Target: تحدد اللغات للترجمة من وإلى.
• AI Response: لتحديد لغة ردود النموذج.
• Smart Swap: لتبديل لغة الترجمة مع لغة المصدر في حال قدمت نص يطابق لغة الترجمة.
• CAPTCHA Mode, Capture Method: تحدد طريقة تصوير الشاشة للعثور على رمز CAPTCHA لديك عنصر الكائن الحالي Navigator Object او Full Screen لتصوير الشاشة بالكامل.
• Custom Prompts: لإنشاء مطالبات مخصصة مع مرونة كبيرة, تفاصيل في الأسفل.

اضبط الخيارات وقم بحفظ التغييرات.

الوظائف والاختصارات:

نسرد هنا قائمة الاختصارات الافتراضية ووظائفها, يمكنك تغييرها من Preferences > Input gestures > Vision Assistant.
تتبع الاختصارات نمط ثابت لتجنب التعارض مع أنماط لوحة المفاتيح, وهو NVDA+Ctrl+Shift+حرف محدد.
وبالتالي, سنذكر الحروف فقط, ولتطبيق الاختصار أضف NVDA+Ctrl+Shift الحرف المرتبط بالميزة التي تريدها.

• T: لترجمة النص, تتم ترجمة النص الذي يتم التركيز عليه حاليًا, إذا تم تحديد نص, يأخذ الأولوية.
• Y: ترجمة النص من الحافظة.
• S: عمل إملاء صوتي Dictation, اضغط مرة واحدة لتسمع صفير بدرجة صوت مرتفعة, ابدأ التحدث, كرر الاختصار لتسمع صوت بدرجة صوت منخفضة, يتم تحويل الكلام إلى نص وتصحيحه ومحاولة كتابته في مربع التحرير الحالي, كما يتم النسخ إلى الحافظة.
• R: التعامل مع النصوص مثل التصحيح والتلخيص والشرح أو تنفيذ الأوامر المخصصة, يتم عرض قائمة بالخيارات المتوفرة. إذا تم تحديد نص يأخذ الأولوية, بخلاف ذلك, يتم التعامل مع موضع التركيز.
• C: حل رموز CAPTCHA, عن طريق التركيز على الصورة التي تحتوي على الأرقام ثم ضغط الاختصار, يتم محاولة حل الرمز وكتابته, يتم النسخ إلى الحافظة.
• V: وصف الكائن الحالي, يتم أخذ صورة للكائن الذي يتم التركيز عليه ووصف محتواه, تفتح نافذة دردشة لمتابعة الأسئلة.
• O: وصف الشاشة بالكامل, يتم فتح نافذة دردشة لمتابعة الأسئلة.
• D: تحليل المستند, تظهر نافذة اختيار ملف, يمكنك اختيار ملف للدردشة وطرح الأسئلة بخصوصه, يتم دعم PDF, TIFF, TXT, MD, PY, تظهر نافذة للدردشة حول الملف.
• F: اختيار صورة JPG, PNG أو ملف PDF لعمل مسح ضوئي OCR, تظهر نافذة اختيار الملف, يتم فتح نافذة دردشة حول الملف.
• A: لعمل تحويل صوت إلى نص Audio Transcription, تظهر نافذة لاختيار الملف, يتم دعم MP3, WAV, OGG, يتم فتح نافذة دردشة حول الملف الصوتي.
• L: نطق آخر ترجمة بشكل محلي دون طلبها مرة أخرى من الذكاء الاصطناعي, لتوفير حدود الاستخدام.
• U: البحث اليدوي عن تحديثات الإضافة.

ملاحظة, لم نختبر جميع خصائص الإضافة, كما أن الملفات بأسماء عربية قد لا تعمل دائمًا, لذلك يفضل تغيير اسم الملف.

الأوامر المخصصة:

يمكنك إنشاء مطالبات مخصصة Custom Prompts لخصائص معينة, مثل أن تطلب من الذكاء الاصطناعي أن يترجم نص محدد إلى لغة محددة, بشكل منفصل عن وظيفة الترجمة, او أن تطلب منه إجراء تحليل على معادلة معينة من الحافظة بشكل منفصل عن ميزة ترجمة نص الحافظة.
القدرات كثيرة, ولدعم هذه الخاصية يتم توفير متغيرات لميزات الإضافة لتنفيذ الطلب المناسب.
للبدء, انتقل إلى إعدادات الإضافة, ومن مربع Custom Prompts اكتب الاسم للطلب لتجده بسرعة, ثم : ثم وصف الطلب نفسه, لإضافة عدة أوامر استخدم | أو ضع كل أمر على سطر.
لجعل الأمر قابل لتنفيذ مهام مخصصة, تتوفر متغيرات يمكنك وضعها بين قوسين [] .

المتغيرات:

يمكنك لصق المتغيرات التالية في نص الطلب ليتم استخدام قيمتها عند إرسال الطلب.

• [selection] إدراج النص المحدد.
• [clipboard] إدراج النص من الحافظة.
• [screen_obj] إرفاق صورة شاشة للكائن الذي يتم التركيز عليه.
• [screen_full] إرفاق صورة للشاشة بالكامل.
• [file_ocr] عمل OCR لملف يتم اختياره.
• [file_read] اختيار ملف مستند نصي أو كود برمجي.
• [file_audio] اختيار ملف صوتي لتحويله إلى نص.

أمثلة:

هذه أمثلة مترجمة عن صفحة مساعدة الإضافة مع بعض التعديلات, وستعمل بنفس الشكل.

• My OCR:[file_ocr] طلب باسم My OCR يؤدي إلى فتح نافذة اختيار ملف لإرساله وطلب استخراج النص, لأننا لم نحدد تفاصيل في الطلب.
• ترجمة الصور:استخرج النص من الصورة وترجمه إلى العربية. [file_ocr] طلب باسم ترجمة الصور ينفذ التعليمات المحددة بعد اختيار الصورة.
• تلخيص الصوت:لخص النقاط الأساسية من هذا التسجيل. [file_audio] طلب يؤدي إلى فتح نافذة اختيار ملف صوتي ثم تلخيص المحتوى.
• Debug:ابحث عن الأخطاء البرمجية في هذا الكود واشرحها. [selection] طلب يؤدي إلى إرسال النص المحدد لتحليله وتوضيح الأخطاء, وذلك عند تحديد كود برمجي.

يتم دعم رفع ملفات يصل حجمها إلى 15 MB ويتم التعامل مع ملفات TIFF متعددة الصفحات تلقائيًا.

تنفيذ الطلبات:

بعد حفظ طلباتك, اضغط NVDA+Ctrl+Shift+R وستجدها في القائمة, بالضغط على أي طلب يتم تنفيذه.
إلىة جانب مطالباتك, تتوفر هذه الخيارات الافتراضية.

• Summarize: تلخيص النص.
• Fix Grammar: إصلاح الأخطاء النحوية في النص.
• Fix Grammar & Translate: إصلاح الأخطاء النحوية في النص وترجمته.
• Explain: شرح النص.

نافذة الدردشة:

تؤدي العديد من الأوامر إلى فتح نافذة دردشة لطرح أسئلة باستمرار مع النموذج.
تتكون النافذة من مربع للقراءة ومربع للكتابة و3 أزرار لإرسال رسالتك وحفظ المحادثة إلى ملف نصي, وإغلاق النافذة.

• AI Response: مربع للقراءة فقط يعرض رسائلك وردود الذكاء الاصطناعي.
• Ask: مربع كتابة لطرح سؤالك.
• Send: لإرسال رسالتك, او اضغط Enter على مربع الكتابة.
• Save Chat: لحفظ الرسائل, يمكنك نسخها بدلًا من ذلك, يتم عرض نافذة الحفظ لتحديد المسار, يتم الحفظ بامتداد .txt.
• Close: لإغلاق النافذة.

عند تنفيذ طلب يستدعي ظهور هذه النافذة, لا تقم بتكرار الطلب مرة أخرى بسرعة, انتظر لضمان ظهور النافذة, تكرار الطلب يفقدك رموز من قيود الاستخدام اليومي بلا مقابل.
إغلاق النافذة دون نسخ المحادثة أو حفظها سيجعلك تفقدها.
قم بالحفظ أو النسخ في حال قمت بتحويل صوت إلى نص على سبيل المثال.
تجد ردود النموذج باسم AI وردودك باسم You.

الحصول على مفتاح API:

قمنا بشرح كيفية الحصول على مفاتيح API لنماذج Gemini عدة مرات سابقًا على نافذة التقنية, ومع ذلك, هذه الخطوات مرة أخرى ليكتمل الشرح.
انتقل إلى صفحة مفاتيح API في Google AI Studio, عن طريق فتح الموقع aistudio.google.com والتحرك إلى Get API key وهو زر, او عن طريق فتح الصفحة:
aistudio.google.com/api-keys
اضغط على Create API key اختر مشروع محدد من صندوق الخيارات أو اكتب اسم للمفتاح إذا تمت مطالبتك بذلك, ثم اضغط على Create.
من الجدول اضغط على Copy API key ثم قم بلصقه في إعدادات الإضافة.
أخيرًا, أيلقينا في نافذة التقنية نظرة على حدود نماذج Gemini بشكل تقريبي, يمكنك مراجعتها للاستفادة من الإضافة بالشكل الأمثل:
تنزيل الإضافة من متجر إضافات NVDA الرسمي.
مستودع الإضافة: