Улаанбаатар хотын ойр орчимд нийт хичнээн монгол гэр байдаг вэ? Энэхүү асуултанд хамгийн зөв хариулах нэгэн боломж бол хиймэл дагуулын зурган дээрээс монгол гэрийг хайж олон тоолох билээ.
Мэдээж хүний гараар тоолвол маш төвөгтэй ажил болох тул хиймэл дагуулын зурган дээрээс монгол гэрийг хайж олдог хиймэл оюун суурьтай загвар хөгжүүлэх даалгаврыг та бүхэнд өгж байна.

Жишээлбэл:

Цаашлаад зөвхөн монгол гэр гэлтгүй хашааны сегментчлэл, шороон замыг олох, машиныг тоолох болон машины зогсоолыг мөн хайж олох гэх мэтчлэн маш их боломжийг бид бүхэнд олгоно гэж найдаж байна.

Kaggle тэмцээнд хэрхэн оролцдог вэ?

1. Тэмцээнд нэгдэх буюу join хийх

   Тэмцээний тухай уншиж танилцах, дүрэмтэй танилцаж зөвшөөрөн дата өгөгдөл дээр ажиллах боломжтой болох.

2. Дата дээр ажиллаж эхлэх

   Датаг хуулбарлан авч Kaggle Kernels эсвэл бусад программуудыг ашиглан загвар байгуулан таамаглал бий болгох.

3. Submission хийх

   Гарган авсан таамаглалаа Kaggle руу оруулан оноог тооцуулах.

4. Leaderboard-г шалгах

   Өөрийн оруулсан submission-г бусад багуудтай харьцуулан байр эзлүүлсэн байгааг шалгах.

5. Оноогоо сайжруулах

   Бусад тэмцээн, уралдаантай холбоотой зүйлсийг судлан өөрийн мэдлэгийг сайжруулснаар оноогоо шинэчлэн сайжруулах.

Тэмцээний тухай

Тэмцээнд 3 үндсэн файл өгөгдсөн буюу training, test гэсэн folder бүхий файлуудыг ашиглан таамаглал гарган авна. sample_submission.csv файл нь Submission-г ямар форматаар хийхийг тайлбарласан файл буюу жинхэнэ утга биш гэдгийг анхаарна уу.

Та бүгдэд амжилт хүсье!

Тэмцээнийг шударга байлгах үүднээс та бүгд дүрмийг баримтлан оролцохыг хүсье.

• Тэмцээн эхлэх: 2022/05/15
• Тэмцээний бүртгэл бөглөх эцсийн хугацаа: 2022/05/31
• Тэмцээний журмыг зөвшөөрөх: 2022/05/31 (Энэ хугацаанаас өмнө тэмцээний журмыг зөвшөөрсөн байх)
• Баг үүсгэх эцсийн хугацаа: 2022/06/05
• Тэмцээн дуусах: 2022/06/12, 23:59
• Код болон шийдлээ явуулах хугацаа: 2022/06/14
• Шалгарсан багуудад мэдэгдэх хугацаа: 2022/06/17

• Зөвхөн Python хэл дээр шийдлийг хийж гүйцэтгэнэ. Ашиглах сангийн хувьд хязгаарлалт байхгүй.
• Шийдэл бүхий **Kaggle Notebook**-г олон нийтэд нээлттэй болгоно. Хэрэв бусад notebook, IDE ашигласан бол Kaggle Notebook руу оруулна.
• Код нь reproducible байна.
• Загварын хэмжээний хувьд хязгаарлалт байхгүй. Pretrained загвар болон ensemble model ашиглаж болно.

Тэмцээний үнэлгээ

Энэхүү тэмцээнд Intersection over union (IoU) үзүүлэлтийг өөр өөр threshold утга дээр тооцсон үнэлгээний дунджаар үнэлнэ.
Нэг обьектийн IoU-г тооцохдоо (1) ground-truth bounding box буюу оригналь зурган дахь обьектийн хэсэг, (2) байгуулсан загварыг ашиглан таамагласан, тодорхойлсон bounding box-г ашиглан тооцдог. Обьект нь тухайн зурган дээр буй жишээлбэл: цэцэг, алим, тэмдэг, монгол гэр гэх мэт зүйлс бөгөөд нэг зурганд олон обьект агуулагдаж болно.

IoU-г дараах байдлаар тооцно.

Зурган байдлаар харуулбал:

IoU-г тооцсоны дараа threshold утгатай харьцуулсан үзүүлэлтийг тооцдог. Threshold нь 0.9 байна. Жишээлбэл, IoU нь 0.9-с өндөр (IoU>threshold) байвал тухайн тодорхойлсон обьектийг “hit” буюу оносон, сайн тодорхойлсон байна гэж үздэг.

Threshold утгын хувьд true positives (TP), false negatives (FN), false positives (FP) утгуудыг тооцдог ба үнэлгээний үзүүлэлт нь дараах байдлаар тооцогдоно:

• True positive (TP) нь IoU>threshold “hit” буюу тодорхойлсон обьект нь ground-truth обьекттэй тохирч байна,
• False positive (FP) нь тодорхойлсон обьект нь ground-truth обьекттэй хамааралгүй,
• False negative (FN) нь ground-truth обьект нь таамагласан обьекттэй хамааралгүй байна гэсэн байдлаар тус тус ойлгоно.

Тэгэхээр нэг зурагны хувьд үнэлгээ нь IoU>threshold байсан (2) томъёогоор тооцсон утгуудын дунджаар илэрхийлэгдэнэ.

Харин тэмцээний үнэлгээний метрик нь тестийн өгөгдөл тус бүр дээр (3) томъёогоор тооцсон үнэлгээний дунджаар илэрхийлэгдэнэ гэсэн үг юм.

Тэмцээн лүү явуулах үр дүн

Илгээж буй файлын хэмжээг багасгахын тулд манай хэмжүүр нь пикселийн утгууд дээр ажиллах уртын кодчлолыг (run-length encoding) ашигладаг. Та сегментчилэлдээ индексийн бүрэн жагсаалтыг оруулахын оронд эхлэх байрлал болон гүйлтийн уртыг агуулсан хос утгыг оруулах болно. Жишээ нь `1 3` нь 1-р пикселээс эхэлж нийт 3 пиксел (1, 2, 3) ажиллахыг хэлнэ.

Тэмцээний формат нь зайгаар тусгаарлагдсан хосуудын жагсаалтыг (a space delimited list of pairs) ашиглана. Жишээлбэл, `1 3 10 5` нь пиксел 1, 2, 3, 10, 11, 12, 13, 14-ийг илэрхийлнэ. Пикселүүд нь нэг-индекстэй буюу индекс нь 1-р эхэлнэ. Индексийн дугаарлалт нь дээрээс доош, дараа нь зүүнээс баруун тийш байна. Жишээлбэл, 1 нь пиксел (1,1), 2 нь пиксел (2,1) гэх мэт.

Метрик нь дээрх хос утгууд нь эрэмбэлэгдсэн, эерэг, код тайлагдсан пикселийн утгууд давхардаагүй эсэхийг шалгадаг. Мөн нэг зураг дээр урьдчилан таамагласан хоёр маск давхцаж байгаа эсэхийг шалгадаг.

Таны илгээсэн мөр бүр нь өгөгдсөн тухайн зурган дээр байгаа обьектийн таамагласан, тодорхойлсон сегментийг илэрхийлнэ гэсэн үг юм.

Үр дүнг явуулах формат:

Нэмэлт тайлбар

Энэхүү Kaggle тэмцээний төрөл нь community буюу хаалттай, тусгай линктэй хүмүүс оролцох боломжтой тул үнэлгээний метрикийн хувьд хязгаарлагдмал байдаг. Тиймээс бид Kaggle community edition-ий ашиглах боломжтой метрик-д тохируулан анхны object detection таскыг сегмент хийх (segmentation) таск болгон өөрчилсөн болно. Сегмент хийх таскын хувьд дээр тайлбарласан IoU үнэлгээний метрик ашиглагдаж байгаа ба өгөгдсөн үнэлгээний метрикийн хувьд Kaggle платформ нь дараах сул талтай байгаа тул тэмцээнд оролцогчид анхааран ажиллахыг хүсье. Үүнд:

1. Хэрэв зурган дээр 2 ба түүнээс дээш гэр байгаа тохиолдолд координатуудыг зурагны ID-д харгалзуулан дээрх зааврын дагуу space буюу нэг зай аван цувруулан оруулах. Хэрэв 2 мөр болгон оруулбал алдаа заахыг анхаарна уу. Дээрх хүснэгтийн 2-р зурагт 2 гэр агуулсан жишээ юм. Жишээлбэл, 2-р зурагт 2 гэр байсан ба эхний гэрийн координат 1 1, хоёрдахь гэрийн координат нь үлдсэн утгууд юм.
2. Зарим тохиолдолд хэрэв тухайн зурган дээр 2 ба түүнээс дээш гэрийн сегмент буюу координат давхцсан эсвэл нийлсэн тохиолдолд нэгтгэн нэг утга байдлаар үнэлгээ хийж байгаа ба хэрэв 2 тусдаа өгөгдөл болгон оруулбал алдаах заахыг анхаарна уу.
3. Үнэлгээний метрик нь зураг бүрийн хувьд ямар нэг координаттай байхыг шаардаж байгаа ба хэрэв таны сургасан загвар зурагт ямар ч гэр байхгүй байна гэж таамагласан тохиолдолд EncodedPixels баганын утгыг хоосон тесктээр явуулна уу.

Нийт шагналын сан 3’000’000₮

• 1-р байр 1’500’000₮
• 2-р байр 900’000₮
• 3-р байр 600’000₮

ЕРӨНХИЙ ДҮРЭМ

Бүртгэл

1. 1 оролцогч 1 Kaggle аккаунттай байна. Хэрэв баг бүрдүүлж орж байгаа бол багийн гишүүд тэмцээнд оролцохдоо олон аккаунтаас submission хийсэн тохиолдолд тэмцээнээс хасагдана.
2. Тэмцээнд оролцогч бүр тэмцээний бүртгэлийн форм дээрх овог нэр, и-мэйл хаяг, утасны дугаар, kaggle profile, багийн нэр болон бусад мэдээллийг бүрэн бөглөж ирүүлнэ.

Оролцогчийн тоо

1. Тэмцээнд ганцаараа болон 2-3 хүний бүрэлдэхүүнтэй багаар оролцож болно.
2. Нэг оролцогч зөвхөн нэг л багт харъяалагдана.
3. Хэрэв баг бүрдүүлсэн бол баг бүр ахлагчтай, нэртэй байх ба Submission хийхдээ нэрээ оруулж, team merge хийсэн байна.
4. ШШагналт байранд орсон оролцогч/баг өөрсдийн solution-ы талаар удахгүй болох эвент дээр танилцуулга хийхийг анхаарна уу.

Үргэлжлэх хугацаа

• Тэмцээн эхлэх: 2022/05/15
• Тэмцээний бүртгэл бөглөх эцсийн хугацаа: 2022/05/31
• Тэмцээний журмыг зөвшөөрөх: 2022/05/31 (Энэ хугацаанаас өмнө тэмцээний журмыг зөвшөөрсөн байх)
• Баг үүсгэх эцсийн хугацаа: 2022/06/05
• Тэмцээн дуусах: 2022/06/12, 23:59
• Код болон шийдлээ явуулах хугацаа: 2022/06/14
• Шалгарсан багуудад мэдэгдэх хугацаа: 2022/06/17

Шагнал

Тэмцээний нийт шагналын сан 3’000’000₮

• 1-р байр: 1’500,000₮
• 2-р байр: 900,000₮
• 3-р байр: 600,000₮

Нууцлал

1. Kaggle discussion болон бусад мэдээлэл хуваалцах хэрэгслээр оролцогчид өөрийн багийн гишүүдээс бусад оролцогч нартай код болон шийдэлээ хуваалцахыг хориглоно.
2. Өөрийн хийсэн даалгаврын шийдлийг Notebook/Kernel хэлбэрээр бусдад хуваалцахгүй байх.
3. Өгөгдсөн дата мэдээллийг зүй бусаар ашиглан зохион байгуулагчид, спонсоруудын нэр хүндэд сөргөөр нөлөөлөхийг хориглоно.

Submission хийх хязгаар

1. Нэг оролцогч/баг өдөрт 5 хүртэлх submission хийж болно.
2. Тухайн оролцогч/багийн сонгосон 2 submission эцсийн байр эзлүүлэлтэд ашиглагдана.

Ашиглах компьютерийн хэл

1. Python хэл дээр тэмцээний даалгаварыг хийж гүйцэтгэнэ.
2. Бусад хэл дээр хийсэн тохиолдолд эдгээр хэл рүү хөрвүүлэхийг шаардана. Хэрэв боломжгүй бол кодыг хүлээн авахаас татгалзана.

Байр эзлүүлэлт

1. Нийт датаны 20% нь Leaderboard-д байршиж байгаа ба тухайн сонгогдсон 2 submission-г ашиглан Private Leaderboard –н оноогоор байр эзлэгдэнэ.
2. Private Leaderboard-н топ 5 оролцогч/баг тэмцээний журамд заасан хугацаанд өөрсдийн код бүхий шийдлийг notebook хэлбэрээр зохион байгуулагчдад ирүүлнэ. Код нь reproducible байх шаардлагатай. (Хэрэв нэмэлтээр өгөгдөл ашигласан бол өгөгдлийг хамт илгээнэ)
3. Кодын зөв эсэхийг шалган, ямар нэг зөрчилгүй оролцогч/багуудад тэмцээний эцсийн үр дүнг мэдэгдэнэ. Хэрэв шалгарсан оролцогч/багаас ямарваа нэгэн байдлаар тэмцээний журмыг зөрчсөн эсвэл шаардлага хангаагүй байдлаар хасагдах тохиолдолд дараагийн оролцогч/багт эзэлсэн байр шилжинэ.

Бусад

1. Тэмцээний дүрмийн дагуу шударгаар өрсөлдөх
2. Өөрөө оролцох
3. Machine Learning UB Коммунитигийн тэмцээн зохион байгуулах багаас бусад гишүүд оролцож болох ба гаргасан загварын үр дүн нь шагналт байранд тооцогдохгүй. Б.Билэгсайхан, С.Уянга, Г.Тэргэл, Б.Ганбаяр, Б.Буяндэлгэр
4. Тэмцээнтэй холбоотой онлайн, офлайн ямар нэг пост, мэдээлэл болон нийтлэлд Зохион байгуулагч, Спонсорууд, тэмцээнд оролцогчдыг доромжилсон, нэр хүндийг гутаасан, нас, хүйс, арьсны өнгө, шашин шүтлэг, ажил мэргэжлээр гадуурхсан болон дээрх этгээдүүдтэй холбоотой худал, хуурамч мэдээлэл тарааж болохгүй.

ТЭМЦЭЭНИЙ НАРИЙВЧИЛСАН ДҮРЭМ

Тэмцээний ерөнхий дүрмүүдээс гадна дараах нарийвчилсан дүрмүүд нь Спонсоруудын шаардлагаар тодорхойлогдож байна.

1. ЯЛАГЧИЙН ЛИЦЕНЗ

A. Ялагч болсон тохиолдолд дараах эрхийг зохион байгуулагчид олгохыг зөвшөөрөв:

“Тэмцээнд оролцсон эцсийн submission болон энэ submission-г гаргаж авахад ашигласан код, туслах материалыг ашиглах бүрэн эрхийг олгов. Үүнд зохион байгуулагч нь код, туслах материалыг олон нийтэд нээлттэй болгохгүй ба зөвхөн спонсор, зохион байгуулагчийн дотоод үйл ажиллагааны хүрээнд ашиглаж болно. Олон нийтэд нээлттэй болгох эсэх нь ялагчийн өөрийн шийдвэр байна.”

Б.Тэмцээнд оролцогчид өөрсдийн шийдлийг Kaggle платформ эсвэл өөрсдийн ашигладаг рефоситори (github, gitlab гэх мэт)-р дамжуулан олон нийтэд нээлттэй болгоно.

2. ТЭМЦЭЭНД ОРОЛЦОГЧ

Тэмцээний ерөнхий дүрмийн Бусад: 3-т ороогүй Монголд ажиллаж, амьдардаг, Монгол улсын иргэн дараах этгээдүүд оролцох боломжтой. Үүнд:

А. Дата сайнс, дата анализ, бизнес анализ, статистикаар мэргэшин ажиллаж буй мэргэжилтнүүд, судлаачид

Б. Энэ чиглэлээр эрдмийн зэрэг горилж буй магистр, докторын оюутнууд, профессорууд

В. Дата өгөгдөл мэдээлэл дээр ажиллахаар сонирхон судлаж буй мэргэжилтнүүд, оюутан залуус

3. ШАЛГАРСАН БАГУУДЫН ШИЙДЛИЙН КОД БА ДОКУМЕНТ

Шалгарсан оролцогч/багууд код бүхий шийдлээ явуулахдаа дараах зааврыг мөрдөнө.

A. Код болон документ нь ямар нэг байдлаар бусдын ажлыг хуулбарласан, нууцын гэрээ, худалдааны гэрээ болон патенттай холбоотой байж болохгүй.

Б. Шийдэл бүхий Kaggle Notebook-г олон нийтэд нээлттэй болгоно. Хэрэв бусад notebook, IDE ашигласан бол Kaggle Notebook руу оруулна.

В. Код нь reproducible байна.

Г. Код нь заавал коммент, тайлбартай байна.

Д. Шалгарсан шийдлийн документ нь хууль бус эсвэл ямар нэг хуулийг зөрчсөн мэдээлэл агуулж болохгүй.

Е. Тэмцээнд оролцогч нь код болон документийн ашиглалттай холбоотойгоор зохион байгуулагчид болон спонсорууд-д ямар нэгэн байдлаар хуулийн хэрэг, зарга үүсгэхгүй гэдгийг баталж байгааг хүлээн зөвшөөрөв.

Ё. Тэмцээнд оролцогч болон багууд өөрсдийн шийдлийг олон нийтэд нээлттэй болгож болно.

4. ТЭМЦЭЭНЭЭС ХАСАХ

Зохион байгуулагчид, Спонсорууд, Kaggle платформ нь тэмцээний ерөнхий болон нарийвчилсан дүрмүүдийн аль нэгийг зөрчсөн тохиолдолд тухайн баг, эсвэл гишүүний харъяалагдах багийг тэмцээнээс хасах бүрэн эрхтэй.

5. АВТОМАТ МАШИН СУРГАЛТЫН ПРОГРАМ (AUTOMATED MACHINE LEARNING TOOLS)

Энэ тэмцээнд ямар нэг автомат машин сургалтын програмыг ашиглахыг хориглох ба бүх код, документүүдийг тэмцээнд оролцогчид өөрсдөө бичсэн байна. Жишээлбэл: R, Python-ы sklearn, keras, tensorflow, pytorch гэх мэт загвар байгуулахтай холбоотой сангуудыг ашиглаж болно. Харин Cloud API болон төлбөртэй сангууд ашиглахгүй байх. Жишээлбэл Google Cloud Auto ML, TPOT, H2O.ai, DataRobot, BigML OptiML, Auto-WEKA гэх мэт.

3дагч компанийн үйлчилгээг жишээлбэл Google, Microsoft -ын Vision API ашиглахгүй байх.

6. ТЭМЦЭЭНИЙ ДАТА ӨГӨГДӨЛ

Тэмцээний дата өгөгдөлд тэмцээний вебсайт-д ил болгосон датаг оруулна. Тэмцээний дата нь сургалтын (training), нийтийн (public) болон хувийн (private) тестлэх дата агуулна.

A. Датаны ашиглалт: тэмцээний датаг дүрэмд заасны дагуу ашиглана.

Б. Датаны аюулгүй байдал: энэ дүрмийг хүлээн зөвшөөрснөөр та тэмцээний датаг бусдад хор хөнөөл учруулах зорилгоор болон хууль бусаар ашиглахгүй байхыг хувь хүний үүднээс чанд сахин мөрдөнө. Мөн ямар нэг байдлаар дээр дурьдсан үйлдлүүдийг бусад тэмцээнд оролцогчид үйлдсэнийг мэдвэл зохион байгуулагчид болон спонсоруудад мэдэгдэх үүрэгтэй.

В. Тэмцээнээс гадуурх дата: тэмцээний хүрээнд өгөгдсөн мэдээллээс гадна бусад төрлийн дата, өгөгдлийг ашиглах боломжгүй байна. Тэмцээнд оролцогч өөрөө нэмэлтээр зураг авч, цуглуулж түүнийгээ тэмцээнд ашиглахыг зөвшөөрөхгүй. Харин датаг автоматаар augmentation хийх, generate хийж нэмэлт дата гаргаж авч болох бөгөөд энэ тохиолдолд датаг гаргаж авахад ашигласан кодыг хамт ирүүлэх ёстой.

7. ЯЛАГЧИЙГ ТОДОРХОЙЛОХ

Submission-ууд нь үнэлгээний метрикийн дагуу ранклагдах ба тэмцээний хугацаанд Public Leaderboard нь оролцогчид харагдахаар байна. Тэмцээний ялагч нь зөвхөн private leaderboard-н ранкаар тодорхойлогдоно. Хэрэв багуудын оноо тэнцэн шалгаруулах багийн тооноос хэтэрвэл оноо тэнцсэн хамгийн түрүүнд submission хийсэн багийг тооцно.

8. ЯЛАГЧИЙГ ЗАРЛАХ

Тэмцээний ялагчид имэйл-р дамжуулан мэдээлэл хүргэнэ. Хэрэв хүргүүлсэн имэйл-д 3 хоногийн дотор хариу мэдэгдэхгүй бол дараагийн оролцогч/багийг ялагчаар сонгоно. Мөн ялагч нь тэмцээний дүрмийг зөрчсөн нь тогтоогдвол дараагийн оролцогч/багийг ялагчаар сонгоно. Ямар нэгэн байдлаар тэмцээний дүрмийг зөрчин тэмцээнд оролцох эрхгүй болсон оролцогч/багуудын оноог Leaderboard-с хасна.

9. ЯЛАГЧИЙН ҮҮРЭГ

Тэмцээний ялагч болсон тохиолдолд дараах үүргийг хүлээн биелүүлнэ. Үүнд:

(a) Тэмцээнд ашиглагдсан хамгийн сүүлийн код, програм, документийг хүргүүлэх. Эдгээр нь тэмцээний дүрэмд заасан шаардлагуудыг хангасан байх ба ялагч руу явуулсан заавар бүхий имэйлийн дагуу зохион байгуулагчдад хүргүүлнэ. Код нь эхнээсээ дуустал бүрэн ажиллах ёстой ба багууд кодын бүрэн ажиллагааг хариуцна. Хэрэв код ажиллаагүй тохиолдолд имэйлээр мэдээлэл хүргүүлэх бөгөөд имэйлд буй зааврын дагуу кодыг дахин ирүүлнэ.

(б) Тэмцээний шагналтай холбоотой баримт бичгүүдэд гарын үсэг зуран ирүүлэх үүрэгтэй.

10. ШАГНАЛ

Тэмцээний шагнал нь тэмцээний дүрэмд заагдсан байх ба тэмцээний дүрмийн шаардлагын дагуу шагналыг олгоно. Тэмцээний ялагч нь шагналаас татгалзах эрхтэй ба энэ тохиолдолд зохион байгуулагчид тэр даруй мэдэгдэнэ. Тэмцээний шагналыг шагналтай холбоотой баримт бичгүүдийг бүрэн хүлээн авснаас хойш 3 долоо хоногийн дотор олгоно. Хэрэв багаар оролцсон тохиолдолд багийн ахлагч нь тэмцээний шагналыг шударгаар багийн гишүүдэд хуваарилан олгох үүрэгтэй.

11. ИНТЕРНЕТ

Тэмцээн нь онлайн платформ дээр зохион байгуулагдаж байгаа тул оролцогчид интернет орох боломжтой байна. Интернетийн ямар нэг тасалдал, алдаанаас болж тэмцээний эцсийн хугацаанаас хоцорсон бол зохион байгуулагч хариуцлага хүлээх болон эцсийн хугацааг сунгах боломжгүй.

12. ЗӨРЧЛИЙГ ШИЙДВЭРЛЭХ

Тэмцээнд оролцогчид тэмцээний ерөнхий болон нарийвчилсан дүрмүүдийг зөрчсөн бол зохион байгуулагчид, спонсорууд тэмцээний дүрэм, цаашлаад харъяалагдах хуулийн дагуу арга хэмжээ авах эрх