Тээврийн хэрэгслийн дугаар танилтын системийн хувьд улс орон болгон өөрсдийн стандарттай тул өөрсдийн хүчээр хөгжүүлж ирэх нь стратегийн өндөр ач холбогдолтой билээ. Харамсалтай Монгол улсын хувьд ихэнх зогсоолын болон хамгаалалтын камернуудад ашиглагдаж байгаа системийн хувьд гадаад орны бүтээгдэхүүнийг шууд худалдан авч ашигласан байдаг.

Энэ удаагийн тэмцээнээр бид бүхэн энэхүү асуудлыг шийдэхэд хувь нэмэр болох Монгол Улсын тээврийн хэрэгслийн дугаар танилтын даалгаврыг оруулж байна.

Жишээлбэл:

зурагнаас 7276УНХ гэж таамаглах юм.

Энэхүү таск нь хиймэл оюун тэр дундаа Computer Vision-ы салбарт олон жил судлагдаж ирсэн билээ. Мөн энэхүү салбарт гарж байгаа сүүлийн ололт амжилтын үр дүнд маш өндөр нарийвчлалтай танин унших системүүд олноор гарсаар байгаа.

MLUB-н залуус бид ч гэсэн энэ тэмцээний өмнө өөрсдийн чадлаар тээврийн хэрэгслийн дугаар танилтын системийг хөгжүүлсэн. Тэр системийнхээ демо бичлэгийг оруулсан байгаа.
https://www.linkedin.com/feed/update/urn:li:activity:6711642928223281152/

Та бүхнийг бидний хийсэн системээс илүү нарийвчлалтай үр дүн гаргана гэж найдаж байна.

Kaggle тэмцээнд хэрхэн оролцдог вэ?

1. Тэмцээнд нэгдэх буюу join хийх

   Тэмцээний тухай уншиж танилцах, дүрэмтэй танилцаж зөвшөөрөн дата өгөгдөл дээр ажиллах боломжтой болох.

2. Дата дээр ажиллаж эхлэх

   Датаг хуулбарлан авч Kaggle Kernels эсвэл бусад программуудыг ашиглан загвар байгуулан таамаглал бий болгох.

3. Submission хийх

   Гарган авсан таамаглалаа Kaggle руу оруулан оноог тооцуулах.

4. Leaderboard-г шалгах

   Өөрийн оруулсан submission-г бусад багуудтай харьцуулан байр эзлүүлсэн байгааг шалгах.

5. Оноогоо сайжруулах

   Бусад тэмцээн, уралдаантай холбоотой зүйлсийг судлан өөрийн мэдлэгийг сайжруулснаар оноогоо шинэчлэн сайжруулах.

Тэмцээний тухай

Тэмцээнд 4 үндсэн файл өгөгдсөн буюу training.csv, training.zip, test.zip гэсэн файлуудыг ашиглан таамаглал гарган авна. submission.csv файл нь Submission-г ямар форматаар хийхийг тайлбарласан файл буюу жинхэнэ утга биш гэдгийг анхаарна уу.

Та бүгдэд амжилт хүсье!

Тэмцээнийг шударга байлгах үүднээс та бүгд дүрмийг баримтлан оролцохыг хүсье.

• Тэмцээн эхлэх: 2020/10/01
• Тэмцээний бүртгэл бөглөх эцсийн хугацаа: 2020/10/15
• Тэмцээний журмыг зөвшөөрөх: 2020/10/25 (Энэ хугацаанаас өмнө тэмцээний журмыг зөвшөөрсөн байх)
• Баг үүсгэх эцсийн хугацаа: 2020/10/27
• Тэмцээн дуусах: 2020/10/31, 23:59
• Код болон шийдлээ явуулах хугацаа: 2020/11/02
• Шалгарсан багуудад мэдэгдэх хугацаа: 2020/11/05

• R эсвэл Python хэлний аль нэг дээр хийж болно
• Шалгарсан багууд хамгийн сайн онооны Submission-г гаргаж авахад ашигласан кодыг зохион байгуулагчид хүргүүлсэн зааврын дагуу ирүүлнэ
• Код нь коммент, тайлбартай байна
• 3дагч компанийн үйлчилгээг жишээлбэл Google, Microsoft -ын Vision API ашиглахгүй байх
• Үүсгэсэн моделийн хэмжээ нийтдээ 200mb-аас хэтрэхгүй байх.

Зорилго

Тэмцээний зорилго нь тээврийн хэрэгслийн улсын дугаарын зурагнаас тесктийг зөв ялган таних юм.

Тэмцээний үнэлгээ

Тэмцээнийг Levenshtein Mean хэмжүүрээр байр эзлүүлнэ. Levenshtein Similarity нь 2 текстийн төстэй байдлыг илэрхийлэх ба яг ижил бол 0, ялгаатай бол хэдэн элемент өөрчилж байж ижил болохыг илтгэх хэмжүүр байна.

Жишээ:

>>> plate_true = '1514УБС'
>>> plate_pred = '1511УВС'
>>> levenshtein(plate_true, plate_pred)
>>> 2

 

>>> plate_true = '1514УБС'
>>> plate_pred = '1514УБС'
>>> levenshtein(plate_true, plate_pred)
>>> 0

n – тестийн зурагны тоо

Нийт шагналын сан 1’000’000₮

• 1-р байр 500’000₮
• 2-р байр 300’000₮
• 3-р байр 200’000₮

ЕРӨНХИЙ ДҮРЭМ

Бүртгэл

1. 1 оролцогч 1 Kaggle аккаунттай байна. Хэрэв баг бүрдүүлж орж байгаа бол багийн гишүүд тэмцээнд оролцохдоо олон аккаунтаас submission хийсэн тохиолдолд тэмцээнээс хасагдана.
2. Тэмцээнд оролцогч бүр тэмцээний бүртгэлийн форм дээрх овог нэр, и-мэйл хаяг, утасны дугаар, kaggle profile, багийн нэр болон бусад мэдээллийг бүрэн бөглөж ирүүлнэ.

Оролцогчийн тоо

1. Тэмцээнд ганцаараа болон 2-3 хүний бүрэлдэхүүнтэй багаар оролцож болно.
2. Нэг оролцогч зөвхөн нэг л багт харъяалагдана.
3. Хэрэв баг бүрдүүлсэн бол баг бүр ахлагчтай, нэртэй байх ба Submission хийхдээ нэрээ оруулж, team merge хийсэн байна.
4. Хэрэв гадаадад оршин сууж буй Монголын иргэн оролцохоор бол Монголд оршин сууж буй хүнтэй хамтран оролцож болно.
5. Шагналт байранд орсон оролцогч/баг өөрсдийн solution-ы талаар удахгүй болох эвент дээр танилцуулга хийх ба хэрэв гадаадад оршин суудаг бөгөөд Монголд төлөөлөн танилцуулга хийх багийн гишүүнгүй тохиолдолд тухайн багийн оноог тооцохгүй байхыг анхаарна уу.

Үргэлжлэх хугацаа

• Тэмцээн эхлэх: 2020/10/01
• Тэмцээний бүртгэл бөглөх эцсийн хугацаа: 2020/10/15
• Тэмцээний журмыг зөвшөөрөх: 2020/10/25 (Энэ хугацаанаас өмнө тэмцээний журмыг зөвшөөрсөн байх)
• Баг үүсгэх эцсийн хугацаа: 2020/10/27
• Тэмцээн дуусах: 2020/10/31, 23:59
• Код болон шийдлээ явуулах хугацаа: 2020/11/02
• Шалгарсан багуудад мэдэгдэх хугацаа: 2020/11/05

Шагнал

Тэмцээний нийт шагналын сан 1’000’000₮

• 1-р байр: 500,000₮
• 2-р байр: 300,000₮
• 3-р байр: 200,000₮

Нууцлал

1. Kaggle discussion болон бусад мэдээлэл хуваалцах хэрэгслээр оролцогчид өөрийн багийн гишүүдээс бусад оролцогч нартай код болон шийдэлээ хуваалцахыг хориглоно.
2. Өөрийн хийсэн даалгаврын шийдлийг Notebook/Kernel хэлбэрээр бусдад хуваалцахгүй байх.
3. Өгөгдсөн дата мэдээллийг зүй бусаар ашиглан зохион байгуулагчид, спонсоруудын нэр хүндэд сөргөөр нөлөөлөхийг хориглоно.

Submission хийх хязгаар

1. Нэг оролцогч/баг өдөрт 5 хүртэлх submission хийж болно.
2. Тухайн оролцогч/багийн сонгосон 2 submission эцсийн байр эзлүүлэлтэд ашиглагдана.

Ашиглах компьютерийн хэл

1. R эсвэл Python хэл дээр тэмцээний даалгаварыг хийж гүйцэтгэнэ.
2. Бусад хэл дээр хийсэн тохиолдолд эдгээр хэл рүү хөрвүүлэхийг шаардана. Хэрэв боломжгүй бол кодыг хүлээн авахаас татгалзана.
3. Үүсгэсэн моделийн хэмжээ нийтдээ 200mb-аас хэтрэхгүй байх.

Байр эзлүүлэлт

1. Нийт датаны 50% нь Leaderboard-д байршиж байгаа ба тухайн сонгогдсон 2 submission-г ашиглан Private Leaderboard –н оноогоор байр эзлэгдэнэ.
2. Private Leaderboard-н топ 5 оролцогч/баг тэмцээний журамд заасан хугацаанд өөрсдийн код бүхий шийдлийг notebook хэлбэрээр зохион байгуулагчдад ирүүлнэ. Код нь reproducible байх шаардлагатай. (Хэрэв нэмэлтээр өгөгдөл ашигласан бол өгөгдлийг хамт илгээнэ)
3. Кодын зөв эсэхийг шалган, ямар нэг зөрчилгүй оролцогч/багуудад тэмцээний эцсийн үр дүнг мэдэгдэнэ. Хэрэв шалгарсан оролцогч/багаас ямарваа нэгэн байдлаар тэмцээний журмыг зөрчсөн эсвэл шаардлага хангаагүй байдлаар хасагдах тохиолдолд дараагийн оролцогч/багт эзэлсэн байр шилжинэ.

Бусад

1. Тэмцээний дүрмийн дагуу шударгаар өрсөлдөх
2. Өөрөө оролцох
3. Machine Learning UB Коммунитигийн тэмцээн зохион байгуулах багаас бусад гишүүд оролцож болох ба гаргасан загварын үр дүн нь шагналт байранд тооцогдохгүй.
4. Тэмцээнтэй холбоотой онлайн, офлайн ямар нэг пост, мэдээлэл болон нийтлэлд Зохион байгуулагч, Спонсорууд, тэмцээнд оролцогчдыг доромжилсон, нэр хүндийг гутаасан, нас, хүйс, арьсны өнгө, шашин шүтлэг, ажил мэргэжлээр гадуурхсан болон дээрх этгээдүүдтэй холбоотой худал, хуурамч мэдээлэл тарааж болохгүй.

ТЭМЦЭЭНИЙ НАРИЙВЧИЛСАН ДҮРЭМ

Тэмцээний ерөнхий дүрмүүдээс гадна дараах нарийвчилсан дүрмүүд нь Спонсоруудын шаардлагаар тодорхойлогдож байна.

1. ЯЛАГЧИЙН ЛИЦЕНЗ

Ялагч болсон тохиолдолд дараах эрхийг зохион байгуулагчид олгохыг зөвшөөрөв:

“Тэмцээнд оролцсон эцсийн submission болон энэ submission-г гаргаж авахад ашигласан код, туслах материалыг ашиглах бүрэн эрхийг олгов. Үүнд зохион байгуулагч нь код, туслах материалыг олон нийтэд нээлттэй болгохгүй ба зөвхөн спонсор, зохион байгуулагчийн дотоод үйл ажиллагааны хүрээнд ашиглаж болно. Олон нийтэд нээлттэй болгох эсэх нь ялагчийн өөрийн шийдвэр байна.”

2. ТЭМЦЭЭНД ОРОЛЦОГЧ

Тэмцээний ерөнхий дүрмийн Бусад: 3-т ороогүй Монголд ажиллаж, амьдардаг, Монгол улсын иргэн дараах этгээдүүд оролцох боломжтой. Үүнд:

А. Дата сайнс, дата анализ, бизнес анализ, статистикаар мэргэшин ажиллаж буй мэргэжилтнүүд, судлаачид

Б. Энэ чиглэлээр эрдмийн зэрэг горилж буй магистр, докторын оюутнууд, профессорууд

В. Дата өгөгдөл мэдээлэл дээр ажиллахаар сонирхон судлаж буй мэргэжилтнүүд, оюутан залуус

3. ШАЛГАРСАН БАГУУДЫН ШИЙДЛИЙН КОД БА ДОКУМЕНТ

Шалгарсан оролцогч/багууд код бүхий шийдлээ явуулахдаа дараах зааврыг мөрдөнө.

A. Код болон документ нь ямар нэг байдлаар бусдын ажлыг хуулбарласан, нууцын гэрээ, худалдааны гэрээ болон патенттай холбоотой байж болохгүй.

Б. R эсвэл Python хэлний аль нэг дээр хийж болох ба хамгийн сайн submission-ы код бүхий notebook эсвэл Kaggle Kernel notebook-г зохион байгуулагчид хүргүүлнэ.

В. Код нь заавал коммент, тайлбартай байна.

Г. Шалгарсан шийдлийн документ нь хууль бус эсвэл ямар нэг хуулийг зөрчсөн мэдээлэл агуулж болохгүй.

Д. Тэмцээнд оролцогч нь код болон документийн ашиглалттай холбоотойгоор зохион байгуулагчид болон спонсорууд-д ямар нэгэн байдлаар хуулийн хэрэг, зарга үүсгэхгүй гэдгийг баталж байгааг хүлээн зөвшөөрөв.

4. ТЭМЦЭЭНЭЭС ХАСАХ

Зохион байгуулагчид, Спонсорууд, Kaggle платформ нь тэмцээний ерөнхий болон нарийвчилсан дүрмүүдийн аль нэгийг зөрчсөн тохиолдолд тухайн баг, эсвэл гишүүний харъяалагдах багийг тэмцээнээс хасах бүрэн эрхтэй.

5. АВТОМАТ МАШИН СУРГАЛТЫН ПРОГРАМ (AUTOMATED MACHINE LEARNING TOOLS)

Энэ тэмцээнд ямар нэг автомат машин сургалтын програмыг ашиглахыг хориглох ба бүх код, документүүдийг тэмцээнд оролцогчид өөрсдөө бичсэн байна. Жишээлбэл: R, Python-ы sklearn, keras, tensorflow, pytorch гэх мэт загвар байгуулахтай холбоотой сангуудыг ашиглаж болно. Харин Cloud API болон төлбөртэй сангууд ашиглахгүй байх. Жишээлбэл Google Cloud Auto ML, TPOT, H2O.ai, DataRobot, BigML OptiML, Auto-WEKA гэх мэт.

3дагч компанийн үйлчилгээг жишээлбэл Google, Microsoft -ын Vision API ашиглахгүй байх.

6. ТЭМЦЭЭНИЙ ДАТА ӨГӨГДӨЛ

Тэмцээний дата өгөгдөлд тэмцээний вебсайт-д ил болгосон датаг оруулна. Тэмцээний дата нь сургалтын (training), нийтийн (public) болон хувийн (private) тестлэх дата агуулна.

A. Датаны ашиглалт: тэмцээний датаг дүрэмд заасны дагуу ашиглана.

Б. Датаны аюулгүй байдал: энэ дүрмийг хүлээн зөвшөөрснөөр та тэмцээний датаг бусдад хор хөнөөл учруулах зорилгоор болон хууль бусаар ашиглахгүй байхыг хувь хүний үүднээс чанд сахин мөрдөнө. Мөн ямар нэг байдлаар дээр дурьдсан үйлдлүүдийг бусад тэмцээнд оролцогчид үйлдсэнийг мэдвэл зохион байгуулагчид болон спонсоруудад мэдэгдэх үүрэгтэй.

В. Тэмцээнээс гадуурх дата: тэмцээний хүрээнд өгөгдсөн мэдээллээс гадна бусад төрлийн дата, өгөгдлийг ашиглах боломжтой. Тэмцээнээс гадуурх дата нь олон нийтэд болон бусад оролцогчид нээлттэй болгож болох дата байна. Өөрөө дата бэлдсэн бол тухайн датаг олон нийтэд нээлттэй болгох эрхийг Machine Learning UB-д өгнө. Тэмцээнд оролцогч өөрөө нэмэлтээр зураг авч, цуглуулж түүнийгээ тэмцээнд ашиглахыг зөвшөөрөхгүй. Харин датаг автоматаар augmentation хийх, generate хийж нэмэлт дата гаргаж авч болох бөгөөд энэ тохиолдолд датаг гаргаж авахад ашигласан кодыг хамт ирүүлэх ёстой.

7. ЯЛАГЧИЙГ ТОДОРХОЙЛОХ

Submission-ууд нь үнэлгээний метрикийн дагуу ранклагдах ба тэмцээний хугацаанд Public Leaderboard нь оролцогчид харагдахаар байна. Тэмцээний ялагч нь зөвхөн private leaderboard-н ранкаар тодорхойлогдоно. Хэрэв багуудын оноо тэнцэн шалгаруулах багийн тооноос хэтэрвэл оноо тэнцсэн хамгийн түрүүнд submission хийсэн багийг тооцно.

8. ЯЛАГЧИЙГ ЗАРЛАХ

Тэмцээний ялагчид имэйл-р дамжуулан мэдээлэл хүргэнэ. Хэрэв хүргүүлсэн имэйл-д 3 хоногийн дотор хариу мэдэгдэхгүй бол дараагийн оролцогч/багийг ялагчаар сонгоно. Мөн ялагч нь тэмцээний дүрмийг зөрчсөн нь тогтоогдвол дараагийн оролцогч/багийг ялагчаар сонгоно. Ямар нэгэн байдлаар тэмцээний дүрмийг зөрчин тэмцээнд оролцох эрхгүй болсон оролцогч/багуудын оноог Leaderboard-с хасна.

9. ЯЛАГЧИЙН ҮҮРЭГ

Тэмцээний ялагч болсон тохиолдолд дараах үүргийг хүлээн биелүүлнэ. Үүнд:

(a) Тэмцээнд ашиглагдсан хамгийн сүүлийн код, програм, документийг хүргүүлэх. Эдгээр нь тэмцээний дүрэмд заасан шаардлагуудыг хангасан байх ба ялагч руу явуулсан заавар бүхий имэйлийн дагуу зохион байгуулагчдад хүргүүлнэ. Код нь эхнээсээ дуустал бүрэн ажиллах ёстой ба багууд кодын бүрэн ажиллагааг хариуцна. Хэрэв код ажиллаагүй тохиолдолд имэйлээр мэдээлэл хүргүүлэх бөгөөд имэйлд буй зааврын дагуу кодыг дахин ирүүлнэ.

(б) Тэмцээний шагналтай холбоотой баримт бичгүүдэд гарын үсэг зуран ирүүлэх үүрэгтэй.

10. ШАГНАЛ

Тэмцээний шагнал нь тэмцээний дүрэмд заагдсан байх ба тэмцээний дүрмийн шаардлагын дагуу шагналыг олгоно. Тэмцээний ялагч нь шагналаас татгалзах эрхтэй ба энэ тохиолдолд зохион байгуулагчид тэр даруй мэдэгдэнэ. Тэмцээний шагналыг шагналтай холбоотой баримт бичгүүдийг бүрэн хүлээн авснаас хойш 3 долоо хоногийн дотор олгоно. Хэрэв багаар оролцсон тохиолдолд багийн ахлагч нь тэмцээний шагналыг шударгаар багийн гишүүдэд хуваарилан олгох үүрэгтэй.

11. ИНТЕРНЕТ

Тэмцээн нь онлайн платформ дээр зохион байгуулагдаж байгаа тул оролцогчид интернет орох боломжтой байна. Интернетийн ямар нэг тасалдал, алдаанаас болж тэмцээний эцсийн хугацаанаас хоцорсон бол зохион байгуулагч хариуцлага хүлээх болон эцсийн хугацааг сунгах боломжгүй.

12. ЗӨРЧЛИЙГ ШИЙДВЭРЛЭХ

Тэмцээнд оролцогчид тэмцээний ерөнхий болон нарийвчилсан дүрмүүдийг зөрчсөн бол зохион байгуулагчид, спонсорууд тэмцээний дүрэм, цаашлаад харъяалагдах хуулийн дагуу арга хэмжээ авах эрх