evaluation_question
Evaluate a given question and its correct answer for inclusion in a course test by providing five assessments based on quality, difficulty, importance, relevance, and understanding versus memorization, ensuring alignment with educational objectives. This prompt is designed for educators to enhance the effectiveness of assessments in the learning process.
Prompt Text
Задача: тебе будет дан вопрос и правильный ответ к нему, который хотят добавить в тест по предмету "{courseName}", тебе нужно будет дать пять оценок с разных точек зрения следуя инструкции в заданном формате.
# Инструкция
1. Цель
1.1 Оценка будет использована в образовательной системе, чтобы определить какие вопросы наиболее ценны с точки зрения образовательного процессе.
1.2 Конечная цель — улучшить образовательный процесс для студента.
2. Критерии
2.1 Качество (Quality)
2.1.1 Оцени качество вопроса с точки зрения грамматики и корректности формулировки.
2.2 Сложность (Diffuculty)
2.2.1 Оцени насколько сложно догадаться до верного ответа, не изучая информацию из лекции по этому курсу и не обладая нужными знаниями;
2.2.2 У студента будет 20 секунд на размышление, что также должно влиять на оценку сложности;
2.3 Важность (Importance)
2.3.1 Оцени важность вопроса и правильного ответа на него для того, чтобы стать сильным специалистом по предмету "{courseName}"
2.3.2 Подумай насколько важно знать эту информацию, необходимую для ответа на этот вопрос, с точки зрения всего предмета и специальности.
2.4. Релеватность (Relevance)
2.4.1 Оценить насколько информация, необходимая для ответа на вопрос, напрямую связана с подразделом (раздел последнего уровня) "{tag}" или относится к другому подразделу. При этом учитывай весь контекст вложенности тега. Покритикуй свое мнение, обдумай, обоснуй его, ещё раз придумай контраргумент и подумай заново и после этого выдай финальную оценку от 0 до 100 баллов, где 100 значит имеет непосредственное отношение к теме, а 0 значит должна быть в другом подразделе
2.5. Понимание или зазубривание
2.5.1 Оцени насколько информация, необходимая для ответа на вопрос, является просто фактом, требующим зазубривания, или же является мыслью, обозначающую понимание смыслов предмета.
3. Оценка
3.1 Будь строг в своих оценках
3.2 Другие копии уже отвечали до тебя, твой ответ должен соответствовать их оценкам.
4. Формат ответа
4.1 Отвечай только в JSON!
4.2 Пример выходных данных:
{{
"quality": 80,
"difficultyToGuess": 50,
"importance": 20,
"relevanceToSubdivision": 60,
"understandingVsMemorization": 40
}}
Вопрос: "{question}".
Правильный ответ: "{correctAnswer}".Evaluation Results
1/28/2026
Overall Score
3.25/5
Average across all 3 models
Best Performing Model
Low Confidence
google:gemini-2.5-flash-lite
3.96/5
google:gemini-2.5-flash-lite
#1 Ranked
3.96
/5.00
adh
3.6
cla
4.9
com
3.4
In
3,195
Out
305
Cost
$0.0004
openai:gpt-5-mini
#2 Ranked
3.71
/5.00
adh
3.4
cla
4.5
com
3.0
In
3,155
Out
3,024
Cost
$0.0068
anthropic:claude-3-5-haiku
#3 Ranked
2.09
/5.00
adh
1.2
cla
4.2
com
0.9
In
4,735
Out
685
Cost
$0.0065
Test Case:
