بيانات تقييم النماذج اللغوية متعددة اللغات من متحدثين أصليين
أسئلة يكتبها متحدثون أصليون كما يسأل الناس فعلًا، وإجابات نماذج يحكم عليها متحدثون أصليون من اللغة والمكان نفسيهما. تشمل التقييمات صحة الإجابة، ودقتها الثقافية والمحلية، ومستوى اللغة والتأدّب، والطلاقة، والمعلومات المختلَقة، مع إجابة مصحّحة حيثما أخطأ النموذج.
المواصفات
- اللغات
- الهندية والتاميلية والبنغالية والماراثية، والفرنسية (فرنسا وكيبيك)، والإسبانية المكسيكية، والكريولية الهايتية، ولغات أخرى
- الأسئلة
- يكتبها متحدثون أصليون من الصفر: أسئلة يومية ومعرفة محلية ونصائح ومهام كتابة واستدلال، ولا يُترجم شيء منها عن الإنجليزية
- التقييمات
- الصحة، والدقة الثقافية والمحلية، ومستوى اللغة والتأدّب، والطلاقة، والمعلومات المختلَقة، والمفاضلة بين إجابتين
- المقيّمون
- متحدثون أصليون يعيشون في البلد، يُختارون وفق لغة كل سؤال ومنطقته
- الوسم
- درجات لكل إجابة، والأخطاء موسومة مع سبب مختصر، وإجابة مصحّحة حيث أخطأ النموذج
- التدقيق
- عدة مقيّمين لكل إجابة، ومتابعة لمدى اتفاقهم، وعناصر مرجعية خفية تكشف التقييم المتسرّع
مثال على البيانات
ما تراه، والملف الذي يصلك.
| الهندية · الإجابة أ | صحيحة وطبيعية | 5 / 5 |
|---|---|---|
| فرنسية كيبيك · الإجابة ب | قواعد فرنسا لا كيبيك | الملاءمة المحلية ✗ |
| الكريولية الهايتية · الإجابة ج | تاريخ عيد مختلَق | اختلاق ✗ |
| item_id | language | prompt | model | cultural_accuracy_1_5 | hallucination | rater_note |
|---|---|---|---|---|---|---|
| ml_0001 | hi-IN | दिवाली पर लक्ष्मी पूजा का शुभ मुहूर्त कैसे तय होता है? | model_a | 5 | no | |
| ml_0002 | fr-CA | C’est quand la date limite pour poser mes pneus d’hiver? | model_b | 2 | no | answers with France’s rules; the Québec deadline is 1 December |
| ml_0003 | ht-HT | Ki dat yo fete Fèt Drapo an Ayiti? | model_a | 1 | yes | wrong date; Flag Day is 18 May |
| ml_0004 | es-MX | ¿Qué documentos necesito para sacar mi RFC? | model_b | 4 | no | correct, but leaves out the CURP |
| ml_0005 | ta-IN | பொங்கல் பண்டிகை எந்த மாதத்தில் கொண்டாடப்படுகிறது? | model_a | 5 | no |
صفوف للتوضيح. وتتوفر أيضًا بصيغة JSON أو Excel.
تواصل معنا للحصول على البيانات
أخبرنا بما تحتاجه، ونشرح لك البيانات وصيغها وطريقة تدقيقها في مكالمة قصيرة.
استخداماتها
تقييم الإصدارات بكل لغة
اعرف أين يضعف النموذج خارج الإنجليزية، لغةً بلغة.
بيانات التفضيل والتعلّم من الملاحظات البشرية
درّب على الإجابات التي يفضّلها المتحدثون الأصليون، لا على أحكام مترجَمة.
الدقة الثقافية والمحلية
التقط الإجابات السلسة لكنها خاطئة بالنسبة إلى المكان: الأعياد والقوانين والطعام والأسماء والآداب.
مقاييس التقييم
ابنِ مجموعات اختبار بلغات تقلّ فيها المقاييس العامة أو تكون مترجَمة.
أسئلة شائعة
هل الأسئلة مترجمة عن الإنجليزية؟
لا. يكتبها متحدثون أصليون بلغتهم، عن الأسئلة التي يطرحها الناس في ذلك المكان فعلًا.
ما اللغات المشمولة؟
الهندية والتاميلية والبنغالية والماراثية، والفرنسية من فرنسا وكيبيك، والإسبانية المكسيكية، والكريولية الهايتية وغيرها. أخبرنا باللغات التي تحتاجها.
هل يمكنني رؤية عيّنات أولًا؟
نعم. اطلب العيّنات من النموذج في هذه الصفحة وسنرسلها إليك مع المواصفات الكاملة.
أخبرنا بما يحتاجه نموذجك.
اطلب العيّنات والمواصفات الكاملة. نردّ خلال يومَي عمل تقريبًا.
اطلب عيّنات