LEXO ၏ လုပ်ဆောင်ချက်များ
အောက်ပါ လုပ်ဆောင်ချက်အားလုံးကို လက်ရှိဗားရှင်းမှာ အသုံးပြုနိုင်ပါတယ်။ ပုံတွေနဲ့ ဗီဒီယိုတွေမှာလည်း LEXO ကို တိုက်ရိုက်အသုံးပြုပြီး ပြထားပါတယ်။ နောင်ထည့်သွင်းမယ့် လုပ်ဆောင်ချက်တွေကို ဒီနေရာမှာ မဖော်ပြထားပါဘူး။
မြန်မာစာ ဦးစားပေး OCR
OCR ဘာသာစကားကို မြန်မာစာအဖြစ် မူလကတည်းက သတ်မှတ်ထားပါတယ်။ ထပ်ရွေးဖို့၊ ဆက်တင်ပြင်ဖို့ ဒါမှမဟုတ် language pack ထည့်ဖို့ မလိုပါဘူး။
LEXO က မြန်မာစာကို ကောင်းစွာဖတ်နိုင်တဲ့ Google Docs OCR ကို သုံးပါတယ်။ စကင်ဖတ်ထားတဲ့ စာအုပ်တွေ၊ PDF ဟောင်းတွေနဲ့ ဖောင့်ဟောင်းသုံးထားတဲ့ မြန်မာစာရွက်စာတမ်းတွေကို အဆင့်ဆင့် ကိုင်တွယ်နိုင်အောင် စီစဉ်ထားပါတယ်။
OCR အသုံးပြုနည်းများ
မိမိအကောင့်ဖြင့် Google Docs OCR
အခကြေးငွေပေးရတဲ့ OCR API သုံးဖို့၊ စာမျက်နှာအလိုက် ငွေပေးဖို့၊ စက်ထဲမှာသုံးမယ့် model အကြီးတွေ ဒေါင်းလုဒ်ဆွဲဖို့ မလိုပါဘူး။ LEXO က စာမျက်နှာပုံတစ်ခုချင်းကို မိမိ Google Drive သို့ ပို့ပြီး Google Docs OCR ဖြင့် ဖတ်ပါတယ်။ စာသားကို ပြန်ယူပြီးနောက် ယာယီဖိုင်ကို ဖျက်ပါတယ်။
Google Cloud ကို တစ်ကြိမ် ပြင်ဆင်ထားဖို့ လိုပါတယ်။ drive.file ခွင့်ပြုချက်ကိုသာ သုံးတာကြောင့် LEXO ကိုယ်တိုင် ဖန်တီးထားတဲ့ ဖိုင်တွေကိုသာ အသုံးပြုနိုင်ပါတယ်။
Google Cloud Setup
PDF မှ စာသား ထုတ်ယူခြင်း
စာစီစာရိုက် ဆော့ဖ်ဝဲကနေ ထုတ်ထားတဲ့ PDF တွေမှာ Text layer ပါပြီးသား ဖြစ်ပါတယ်။ LEXO က အဲဒီစာသားကို မူရင်းအတိုင်း ချက်ချင်း ကူးယူပေးပါတယ်။ အင်တာနက်နဲ့ အကောင့် မလိုပါဘူး။
CLI မှ lexo ocr ကို သုံးရင် စာမျက်နှာတစ်ခုချင်းကို စစ်ဆေးပေးပါတယ်။ အသုံးပြုနိုင်တဲ့ Text layer ပါရင် တိုက်ရိုက်ထုတ်ယူပြီး စကင်စာမျက်နှာတွေကိုသာ OCR လုပ်ပါတယ်။ ဖောင့်ဟောင်းရဲ့ glyph တွေကြောင့် Text layer ကို သုံးမရကြောင်း စစ်တွေ့ရင်လည်း OCR လုပ်ပေးပါတယ်။
lexo extract report.pdf -o report.txt 
စကင် PDF နှင့် ပုံများ
စကင် PDF၊ ပုံတစ်ပုံ သို့မဟုတ် ပုံအစုကို စာရွက်စာတမ်း တစ်ခုအဖြစ် ဖွင့်နိုင်ပါတယ်။ PNG၊ JPEG၊ TIFF နှင့် BMP အားလုံး ရပါတယ်။
ရလဒ်တွေကို စာမျက်နှာအလိုက် ပြပေးပါတယ်။ ယာယီချို့ယွင်းမှုများကို အလိုအလျောက် ထပ်မံကြိုးစားပြီး Retry Failed Pages ဖြင့် မအောင်မြင်သေးတာတွေကိုသာ ပြန်လုပ်နိုင်တဲ့အတွက် စာအုပ်ရှည်ကြီးကို အစကနေ ပြန်စရန် မလိုပါဘူး။
lexo ocr scan.pdf --lang my -o scan.txt ဖောင့်ဟောင်း PDF ဖြေရှင်းနည်း
Win Innwa သို့မဟုတ် Win Myanmar ဖြင့် ရိုက်ထားတဲ့ မြန်မာစာကို ASCII စာလုံးများအဖြစ် သိမ်းထားပါတယ်။ ထုတ်ယူရင် အဓိပ္ပာယ်မဲ့ လက်တင်စာလုံးများ ရပါမယ်။ Google Docs OCR ဖြင့် လုပ်လိုက်ရင် LEXO က စာမျက်နှာကို ပုံအဖြစ် ဖတ်ပြီး မြန်မာ Unicode စာသားကို ပြန်ပေးပါတယ်။
ဖောင့်ဟောင်းများ အကြောင်း
Batch PDF OCR
Folder ထဲက PDF အားလုံး သို့မဟုတ် ရွေးထားတဲ့ PDF တွေကို OCR လုပ်ပြီး တစ်ဖိုင်လျှင် UTF-8 .txt တစ်ခု ထုတ်ပေးပါတယ်။ ရလဒ်ဖိုင် ရှိပြီးသားဆိုရင် ကျော်ပေးတာကြောင့် အလုပ်ရပ်သွားရင် ပြန်စပြီး ကျန်တဲ့ဖိုင်တွေကို ဆက်လုပ်နိုင်ပါတယ်။
အက်ပ်ရဲ့ အဖွင့်မျက်နှာပြင်မှာ Batch OCR PDFs ကို ရွေးပါ သို့မဟုတ် Ctrl+Alt+O ကို နှိပ်ပါ။ CLI မှာ lexo ocr-batch ကို သုံးနိုင်ပါတယ်။
lexo ocr-batch ./pdfs --out-dir ./txt 
ဖြတ်တောက်၊ ခွဲ၊ လှည့်၊ ပေါင်း
OCR မလုပ်မီ စာမျက်နှာများကို အင်တာနက်မလိုဘဲ ပြင်ဆင်ပါ။ ခေါင်းစီးနှင့် စာမျက်နှာနံပါတ်များ ဖယ်ရန် Preview ပေါ်မှာ Crop box ဆွဲပါ။ ပြီးရင် လက်ရှိစာမျက်နှာ၊ စာမျက်နှာအားလုံး သို့မဟုတ် ရွေးထားတဲ့ စာမျက်နှာတွေအတွက် Apply crop လုပ်ပါ။ လှည့်ခြင်း၊ နေရာပြောင်းခြင်း၊ ဖယ်ရှားခြင်း၊ ထုတ်ယူခြင်း၊ ဖိုင်ခွဲခြင်းနှင့် အခြား PDF များ ပေါင်းထည့်ခြင်းတို့ ပြုလုပ်နိုင်ပါတယ်။
ပြင်ဆင်ဖို့ ဖန်တီးထားတဲ့ မိတ္တူမှာပဲ အပြောင်းအလဲတွေကို လုပ်ဆောင်ပါတယ်။ Save ဖြင့် မသိမ်းမချင်း မူရင်းဖိုင်ကို မပြောင်းလဲပါဘူး။
lexo pdf crop book.pdf --top 8 --bottom 8 -o trimmed.pdf lexo pdf merge a.pdf b.pdf -o book.pdf 
စာမျက်နှာနှစ်ခုတွဲ ပုံ ခွဲခြင်း
စာအုပ်ကို ဖွင့်လျက် စကင်ဖတ်ထားရင် ပုံတစ်ပုံမှာ စာမျက်နှာနှစ်ခု ပါတတ်ပါတယ်။ ခွဲမျဉ်းကို စာအုပ်အလယ်ကြောင်းပေါ် ဆွဲရွှေ့ပြီး ဘယ်၊ ညာ စာမျက်နှာအဖြစ် ခွဲနိုင်ပါတယ်။ ဘယ်စာမျက်နှာကို အရင်ထားပြီး လှည့်ထားတဲ့အနေအထားနဲ့ Crop box ကိုလည်း ထည့်သွင်းတွက်ချက်ပေးပါတယ်။
lexo pdf split-spread scans.pdf -o pages.pdf 
ယှဉ်တွဲ စစ်ဆေးခြင်း
စာမျက်နှာပုံနဲ့ ပြင်ဆင်နိုင်တဲ့ စာသားကို ယှဉ်တွဲပြထားပါတယ်။ ဖတ်ရခက်တဲ့နေရာကို ချဲ့ကြည့်ပြီး စာသားကို တိုက်ရိုက် ပြင်နိုင်ပါတယ်။ စာမျက်နှာပုံငယ်တွေမှာ ပြီးဆုံး၊ စောင့်ဆိုင်းဆဲနဲ့ မအောင်မြင်တဲ့ အခြေအနေတွေကို ပြပေးပါတယ်။
Noto Sans Myanmar ဖောင့် ပါဝင်ပြီးသားဖြစ်လို့ စက်မှာ မြန်မာဖောင့် ရှိမရှိကို စိုးရိမ်စရာမလိုဘဲ စာသားကို မှန်ကန်စွာ ဖတ်ရှုစစ်ဆေးနိုင်ပါတယ်။
မြန်မာ Unicode ကိုင်တွယ်ပုံ
စာသားအားလုံးကို Unicode NFC စံပုံစံနဲ့ ညီအောင် ပြင်ဆင်ပေးတာကြောင့် အမြင်အားဖြင့် တူညီတဲ့ စာသားတွေကို တစ်သမတ်တည်း သိမ်းဆည်းနိုင်ပါတယ်။ မြန်မာစာမှာ စကားလုံးနဲ့ စာကြောင်းခွဲဖို့ သုံးတဲ့ zero-width space တွေကို ထိန်းထားပြီး မလိုအပ်တဲ့ control character တွေကို ဖယ်ရှားပါတယ်။
TXT၊ Markdown နှင့် JSONL
ဖတ်ရှုပြင်ဆင်ဖို့ Plain text ကို ရွေးနိုင်ပါတယ်။ ထုတ်ဝေရေးနဲ့ EPUB အလုပ်တွေအတွက် YAML frontmatter နဲ့ စာမျက်နှာခေါင်းစဉ်တွေပါတဲ့ Markdown ကို သုံးနိုင်ပါတယ်။ NLP နဲ့ LLM dataset တွေအတွက် JSONL က တစ်မျက်နှာလျှင် မှတ်တမ်းတစ်ခု ထုတ်ပေးပြီး စာမျက်နှာနံပါတ်နဲ့ စာသားရယူတဲ့ နည်းလမ်းကိုပါ ထည့်ပေးပါတယ်။
သိမ်းဆည်းနိုင်တဲ့ File format တွေ
အက်ပ်နှင့် CLI၊ တူညီတဲ့စနစ်
PySide6 ဖြင့် တည်ဆောက်ထားတဲ့ Desktop app နဲ့ lexo command က အခြေခံစနစ်တစ်ခုတည်းကို သုံးထားတာကြောင့် ရလဒ်တူပါတယ်။ အက်ပ်မှာ အရင်စမ်းပြီး အဲဒီလုပ်ငန်းစဉ်ကို script ရေးကာ ထပ်မံလုပ်ဆောင်နိုင်ပါတယ်။
lexo gui lexo --help 