Вікіпедія:Вікі любить пам'ятки/Оцінювання
2019
[ред. код]- Топ-123 фото «Вікі любить пам’ятки» 2019 року
- журі: 15 людей
Цього року в українській частині завантажили майже 32 тисячі фотографій, з них понад 5 тисяч — на якісну номінацію. Далі ми розкажемо трохи детальніше про алгоритм роботи, який дозволив отримати 123 фото.
З цих 5 тисяч світлин якісної номінації, журі (15 волонтерів), отримали понад 4400 знімків (з роздільною здатністю менше 4 мегапікселів відсіювалися). Журі оцінювали роботи у два раунди. Поки судді працювали із фото, поданими на якісну номінацію, ще 9 залучених волонтерів (не-журі) переглядали фотографії з кількісної, адже гарні знімки могли потрапити сюди з різних причин — хтось бере участь вперше, хтось не розібрався із завантажувачем, а комусь може завадити й природна скромність. Волонтери відібрали іще 180 фото і передали журі, які серед них обрали 32.
Журі мало відібрати зі своєї порції (600 фото) не більше 20 світлин.
Таким чином, до 2 раунду з якісної номінації пішло 290 фото і 32 з кількісної. Далі кожен член журі оцінював фотографію за 10-ти бальною шкалою, і знімки з високою кількістю балів потрапили на офлайнове засідання журі, яке цього року відбулося у Києві. Якраз із цих 123 світлин і були визначені топ-10 робіт цьогорічного змагання.
2020
[ред. код]- Як проходило оцінювання світлин конкурсу 2020 року
- журі: 22 людини
Загалом учасники завантажили понад 47 тисяч світлин, що є рекордом в українській частині конкурсу. При завантаженні світлини автоматично потрапляють у «кількісну» категорію (тут оцінюються тільки бали для об’єктів, для «кількісної» номінації), для того, щоб фото потрапило на «якісну» (які претендують на найкраще фото регіону чи України) — потрібно вибрати відповідну опцію. Таких світлин було понад 9700. З них було відсіяно ті, які не відповідали формальним вимогам регламенту (роздільна здатність менше 4 мегапікселів, правильний ідентифікатор пам’ятки тощо). Отже, до журі — 22 волонтерів* — потрапило 8155 світлин на першому раунді онлайнового оцінювання. На цьому раунді кожен член журі отримував порцію із ~740 світлин, які потрібно було оцінити. Порція формувалася таким чином, щоб кожне фото потрапляло на розгляд до двох членів журі. З цього раунду далі пройшло 914 робіт. Оцінювання відбувалося в онлайновому інструменті WLX Jury Tool.
Журі зі своєї порції відбирало до 50 фото.
Паралельно ще проходив процес відсіювання конкурсних світлин, які потрапили до «кількісної» категорії — всього понад 38 тисяч світлин. З них теж було вилучено фото, які не відповідали формальним вимогам, тож ця кількість становила понад 29 тисяч. 12 залучених волонтерів (не-журі) перевіряли ці знімки, щоб не пропустити якісь гарні через те, що хтось із учасників не розібрався із завантажувачем. Волонтерами було відібрано ще 261 світлина, журі з них пропустило далі 14. Таким чином на другий онлайновий раунд оцінювання світлин потрапило 928 фото.
На другому раунді журі бачило всі світлини, що отримали високі бали. Вони оцінювали за 10-ти бальною шкалою ті світлини, які не були з їхніх порцій. За результатами цього 165 фото потрапили на офлайнове засідання, яке проходило 19 грудня в Києві.
Саме засідання відбувалося у дуже незвичному місці через карантинні обмеження — в залі кінотеатру «Планета Кіно» (РЦ «Блокбастер»). 12 членів журі змогли приїхати до Києва, щоб оцінити світлини й вибрати ті, які будуть представляти Україну на міжнародному етапі.
Журі переглянуло 165 світлин, які потрапили на третій раунд, зменшило їхню кількість до 43, серед яких було обрано 23, а потім — десятка.
Формат конкурсу передбачає нагородження й за найкраще фото кожного регіону України, але не всі регіони, звичайно, були добре представлені у топ-165, тому наступними раундами для журі стало дооцінити світлини за конкретними регіонами. Останні оцінки було зафіксовано інструментом 30 грудня.
2021
[ред. код]Цього року ми отримали понад 25 тисяч світлин. За замовчуванням світлини подаються лише на так звану “кількісну” номінацію, тобто не потрапляють на розгляд журі. Для того, щоб роботи потрапили на оцінювання журі, тобто у так звану “якісну” номінацію — учасники мають це проактивно вказати при завантаженні. Також не враховуються фото, автори яких мають конфлікт інтересів (наприклад, організатори), замалу роздільність чи не входять до державного реєстру і подані тільки на спеціальні номінації. Саме так із понад 25 тисяч на оцінювання до журі у першому раунді потрапило понад 4700 робіт. Незважаючи на те, що у нас 19 членів журі — світлин все одно багато, тож ми організовуємо процес так, аби кожну світлину дивилися принаймні два члени журі. На першому раунді члени журі мають відібрати до 50 світлин зі своєї порції.
Отже, за результатами першого раунду — відбору членами журі до 50 світлин зі своєї порції — вийшло 691 фото на другий раунд.
Паралельно до роботи журі у першому раунді, ми формуємо групу волонтерів, завданням яких є відібрати для розгляду журі до 20 світлин з кожної порції світлин поданих на “кількісну” номінацію (тобто решти 15673 світлин завантажених на конкурс, які не потрапили на розгляд до журі прямо). Ці волонтери відібрали 235 фото, які потім переглянули додатково члени журі й відібрали з них 30, які теж пройшли на другий раунд.
Ці 691+30 світлини переглядає оргком, щоб відкинути ті знімки, які порушують “свободу панорами” чи де відсутні пам’ятки, що входять у державні реєстри. Тож на другий раунд до всіх члени журі перейшло 666 фото. На цьому етапі журі теж обирає світлини, які, на їхню індивідуальну думку, мають шанс перемогти. На третій раунд переходять тільки ті роботи, які були вибрані хоча б двома членами журі. Цього року це було 210 робіт. І ці вже роботи члени журі оцінюють за шкалою від 1 (мінімум) до 10 (максимум).
27 робіт із найвищими балами журі оцінювало на четвертому раунді вже за 20-бальною шкалою.
Увесь початковий процес оцінювання відбувається в онлайні, у спеціально написаному інструменті WLX Jury Tool. Це дозволяє членам журі пройти підготовчі раунди у комфортному для них темпі, хоча й має свої недоліки — у когось буде кращий монітор чи налаштування, а у когось це все буде не дуже, і одна й та сама світлина може отримати одночасно і дуже високі, і дуже низькі оцінки.
Тож фінальним етапом була зустріч журі. 28 листопада нам вдалося зібратися на змішане засідання у Києві — частина членів журі була у приміщенні, частина підключилися через Zoom. На цьому засіданні ми обговорювали 27 світлин, відібраних та оцінених на четвертому раунді, щоб вибрати топ-10, який представлятиме Україну на міжнародному рівні.