LEXO ကို ဘယ်အလုပ်တွေမှာ သုံးနိုင်သလဲ
အသုံးများတဲ့ အလုပ်ငါးမျိုးအတွက် လုပ်ဆောင်နည်းတွေနဲ့ LEXO ရဲ့ ကန့်သတ်ချက်တွေကို လေ့လာနိုင်ပါတယ်။
သုတေသီများနှင့် မော်ကွန်းတိုက်များ
စကင်ဖတ်ထားတဲ့ မြန်မာစာအုပ်တွေ၊ မဂ္ဂဇင်းတွေ၊ စာမူတွေကို ရှာဖွေ၊ ကိုးကား၊ ကောက်နုတ်နိုင်တဲ့ စာသားအဖြစ် ပြောင်းလိုသူတွေအတွက် အသုံးဝင်ပါတယ်။ ဒီလို စကင်ဖိုင်တွေမှာ ခေါင်းစီးနဲ့ စာမျက်နှာနံပါတ်တွေ ပါနေပြီး စာမျက်နှာနှစ်ခုတွဲ ဖြစ်နေတာမျိုးလည်း တွေ့ရတတ်ပါတယ်။
လုပ်ဆောင်ပုံ
- စကင်ဖိုင်ကို ဖွင့်ပြီး PDF Tab တွင် စာမျက်နှာနှစ်ခုတွဲ ပုံများကို ခွဲပါ။
- ခေါင်းစီးနှင့် စာမျက်နှာနံပါတ်များကို စာမျက်နှာအားလုံးအတွက် တစ်ပြိုင်နက် ဖြတ်တောက်ပါ။
- Google Docs OCR လုပ်ပြီး စာမျက်နှာတစ်ခုချင်းကို မူရင်းပုံနှင့် တိုက်စစ်ပါ။
- Markdown အဖြစ် သိမ်းပါ။ စာမျက်နှာတိုင်းကို ခေါင်းစဉ်ခွဲထားလို့ ကိုးကားထားတဲ့ စာသားက မူရင်းဘယ်စာမျက်နှာက လာသလဲဆိုတာ ပြန်ရှာနိုင်ပါတယ်။
သတိပြုရန်
OCR ရလဒ်ကို မကိုးကားမီ စစ်ဆေးရန် လိုပါတယ်။ LEXO က ကော်လံ၊ ဇယား သို့မဟုတ် အောက်ခြေမှတ်စုများကို မခွဲခြားနိုင်တဲ့အတွက် ရှုပ်ထွေးတဲ့ စာမျက်နှာအပြင်အဆင်များကို လက်ဖြင့် ပြန်ပြင်ရနိုင်ပါတယ်။
ထုတ်ဝေသူများနှင့် EPUB ထုတ်လုပ်ခြင်း
ပြန်မပုံနှိပ်တော့တဲ့ မြန်မာစာအုပ်တစ်အုပ်ကို e-book အဖြစ် ပြန်ထုတ်လိုပြီး ပုံနှိပ်စာအုပ် ဒါမှမဟုတ် PDF ဟောင်းသာ ကျန်ရှိတဲ့အခါ အသုံးပြုနိုင်ပါတယ်။
လုပ်ဆောင်ပုံ
- စာအုပ်ကို စကင်ဖတ်ပါ သို့မဟုတ် ရှိပြီးသားဖိုင်ကို ဖွင့်ပါ။ စာမျက်နှာနှစ်ခုတွဲ ပုံတွေကို ခွဲပြီး စာသားဧရိယာအတိုင်း ဖြတ်တောက်ပါ။
- OCR လုပ်ပြီး ရလာတဲ့စာသားကို ဘေးမှာ ပြထားတဲ့ မူရင်းစာမျက်နှာနဲ့ ယှဉ်စစ်ကာ ပြင်ဆင်ပါ။
- Markdown အဖြစ် သိမ်းပြီး မိမိ၏ EPUB Toolchain သို့ ထည့်ပါ။
သတိပြုရန်
LEXO က စာသားကိုသာ ထုတ်ပေးပြီး အပြင်အဆင် အပြီးသတ်ထားတဲ့ e-book ကို မထုတ်ပေးပါဘူး။ ခေါင်းစဉ်တွေ၊ စာလုံးအထူတွေနဲ့ ပုံတွေကို မိမိကိုယ်တိုင် ပြန်ထည့်ရပါမယ်။ မိမိမှာ ဒစ်ဂျစ်တယ်ပြောင်းခွင့် ရှိတဲ့ စာအုပ်တွေကိုသာ ပြောင်းပါ။
မြန်မာ NLP နှင့် LLM Dataset များ
Training နဲ့ evaluation အတွက် မြန်မာ Unicode စာသား အမြောက်အမြား လိုအပ်ပေမယ့် ရရှိထားတဲ့ အချက်အလက်အများစုက စကင် PDF တွေ ဖြစ်နေတဲ့အခါ အသုံးဝင်ပါတယ်။
လုပ်ဆောင်ပုံ
- CLI မှ PDF Folder တွေကို Batch OCR လုပ်ပါ။ အလုပ်ရပ်သွားရင် ပြန်စပြီး ကျန်တဲ့ဖိုင်တွေကို ဆက်လုပ်နိုင်ပါတယ်။
- စာရွက်စာတမ်းတစ်ခုချင်းကို JSONL အဖြစ်လည်း ထုတ်နိုင်ပါတယ်။ စာမျက်နှာတစ်ခုလျှင် မှတ်တမ်းတစ်ခု ပါဝင်ပြီး မူရင်းဖိုင်၊ စာမျက်နှာနံပါတ်နဲ့ စာသားရယူတဲ့ နည်းလမ်းကို ဖော်ပြထားပါတယ်။
- မအောင်မြင်တဲ့ စာမျက်နှာများကို စစ်ထုတ်ပြီး SHA-256 doc_id ဖြင့် ထပ်နေတာတွေ ဖယ်ရှားပါ။
lexo ocr-batch ./pdfs --out-dir ./txt lexo ocr book.pdf --format jsonl -o book.jsonl သတိပြုရန်
စာသားများကို NFC စံပုံစံနဲ့ ညီအောင် ပြင်ဆင်ပြီး Zero-width Space များ ထိန်းထားပေမယ့် OCR အမှားများ ကျန်ရှိနေနိုင်ပါတယ်။ Training မလုပ်မီ နမူနာယူ စစ်ဆေးပါ။ မူရင်း စာရွက်စာတမ်းများ၏ လိုင်စင်ကို လေးစားပါ။
ဖောင့်ဟောင်းဖြင့် ရိုက်ထားတဲ့ စာရွက်စာတမ်းများ
Win Innwa လို ဖောင့်ဟောင်းတွေသုံးထားတဲ့ Office ဖိုင်နဲ့ PDF တွေမှာ မြန်မာစာကို မြင်ရပေမယ့် ကူးယူပြီး ပြန်ထည့်လိုက်ရင် လက်တင်စာလုံးတွေ ထွက်လာတတ်ပါတယ်။ စာသားရှာဖွေတာ၊ အက္ခရာစဉ်စီတာနဲ့ screen reader ဖြင့် ဖတ်တာတွေလည်း အဆင်မပြေပါဘူး။
လုပ်ဆောင်ပုံ
- PDF ကို ဖွင့်ပါ။ Text layer မှ ထုတ်ယူမှုတွင် မြန်မာစာ ရှိသင့်တဲ့နေရာ၌ ASCII ပေါ်ရင် ဖောင့်ဟောင်း ဖြစ်ပါတယ်။
- ဝှက်ထားတဲ့ ASCII ကို မဖတ်ဘဲ စာမျက်နှာပုံကို ဖတ်တဲ့ Google Docs OCR သို့ ပြောင်းပါ။
- မြန်မာ Unicode စာသားကို ဖိုင်အဖြစ် သိမ်းပါ။
သတိပြုရန်
OCR က စာမျက်နှာပုံကို ပြန်ဖတ်တာဖြစ်လို့ ရလဒ်ကို စစ်ဆေးဖို့ လိုပါတယ်။ စာရွက်စာတမ်းကို Google သို့ တင်ပို့ခွင့်မရှိရင် မူရင်းစာသားကို ထုတ်ယူပြီး Win-to-Unicode converter ဖြင့် ပြောင်းနိုင်ပါတယ်။
ကျောင်းသားများနှင့် ဆရာများ
မိတ္တူ ဒါမှမဟုတ် ဖုန်းနဲ့ ရိုက်ထားတဲ့ပုံတွေအဖြစ် ရရှိထားတဲ့ သင်ခန်းစာစာအုပ်တွေ၊ မေးခွန်းဟောင်းတွေနဲ့ သင်ခန်းစာစာရွက်တွေကို ရှာဖွေ၊ မှတ်ချက်ရေး၊ ပြင်ဆင်နိုင်တဲ့ စာသားအဖြစ် ပြောင်းနိုင်ပါတယ်။
လုပ်ဆောင်ပုံ
- ဖုန်းနဲ့ ရိုက်ထားတဲ့ပုံတွေကို Image Set အဖြစ် ဖွင့်ပါ။ ပုံတစ်ပုံလျှင် စာမျက်နှာတစ်ခုအဖြစ် ထည့်ပြီး စာရွက်စာတမ်းတစ်ခု ပြုလုပ်ပေးပါတယ်။
- စာသားသာ ကျန်အောင် စာမျက်နှာတစ်ခုချင်းကို လှည့်ပြီး ဖြတ်တောက်ပါ။
- OCR လုပ်ပါ၊ အမှားအနည်းငယ်ကို ပြင်ပါ၊ Plain text အဖြစ် သိမ်းပါ။
သတိပြုရန်
စာမျက်နှာကို ပြန့်ပြန့်ထားပြီး အလင်းရောင်ကောင်းကောင်းနဲ့ ကြည်လင်အောင် ရိုက်ထားတဲ့ပုံတွေက ရလဒ်အကောင်းဆုံး ရစေပါတယ်။ လက်ရေးကိုမူ LEXO က အထူးတည်ဆောက် စမ်းသပ်ထားခြင်း မရှိပါဘူး။