သိမ်းဆည်းနိုင်တဲ့ File format တွေ - TXT၊ Markdown နှင့် JSONL

LEXO မှ စာသားကို File format သုံးမျိုးနဲ့ ထုတ်ယူနိုင်ပါတယ်။ အားလုံး UTF-8 ဖြစ်ပြီး မြန်မာစာကို escape code တွေအဖြစ် မပြောင်းဘဲ မူရင်းစာလုံးတွေနဲ့ ဖတ်နိုင်ပါတယ်။

File format	File extension	အသင့်တော်ဆုံး
Plain text	.txt	ဖတ်ရှုခြင်း၊ ပြင်ဆင်ခြင်း၊ အခြား Tool များသို့ ကူးထည့်ခြင်း
Markdown	.md	ထုတ်ဝေခြင်း၊ EPUB Pipeline၊ စာမျက်နှာအလိုက် စစ်ဆေးခြင်း
JSONL	.jsonl	NLP နှင့် LLM Dataset များ၊ script ရေးခြင်း

Desktop app မှာ Run Tab ရှိ Export as တွင် ရွေးပါ။ CLI တွင် lexo extract သို့မဟုတ် lexo ocr နှင့်အတူ --format text|markdown|jsonl ကို သုံးပါ။ Batch OCR က Plain text ကိုသာ အမြဲ ထုတ်ပါတယ်။

Plain text

ပုံမှန်သုံးတဲ့ File format ဖြစ်ပါတယ်။ စာမျက်နှာ စာသားများကို စာကြောင်းလွတ် တစ်ကြောင်းခြား၍ ဆက်ထားပြီး စာသားမပါတဲ့ စာမျက်နှာများကို ချန်ထားပါတယ်။

ပထမ စာမျက်နှာ၏ စာသား…

ဒုတိယ စာမျက်နှာ၏ စာသား…

Markdown

ဖိုင်အစမှာ YAML frontmatter ပါဝင်ပြီး စာမျက်နှာတစ်ခုချင်းကို ခေါင်းစဉ်ခွဲထားပါတယ် -

---
source: "scan.pdf"
doc_id: "3f9a…"
page_count: 2
extracted_at: "2026-10-22T08:00:00+00:00"
---

## Page 1

ပထမ စာမျက်နှာ၏ စာသား…

## Page 2

(OCR failed on this page: …)

စာမျက်နှာတစ်ခုချင်းကို ခေါင်းစဉ်ခွဲထားလို့ စာသားက ဘယ်စာမျက်နှာက လာသလဲဆိုတာ ပြန်ရှာနိုင်ပါတယ်။ စာသားမပါတဲ့ စာမျက်နှာတွေနဲ့ OCR မအောင်မြင်တဲ့ စာမျက်နှာတွေကိုပါ ဖော်ပြထားတာကြောင့် မထုတ်ဝေမီ ကျန်နေတဲ့အပိုင်းတွေကို ရှာဖို့ လွယ်ကူပါတယ်။

JSONL

စာမျက်နှာတစ်ခုလျှင် JSON object တစ်ခု ထုတ်ပေးပြီး object တစ်ခုကို စာကြောင်းတစ်ကြောင်းစီမှာ သိမ်းထားပါတယ် -

{"doc_id": "…", "source": "scan.pdf", "page": 1, "kind": "scanned", "text": "ပထမ စာမျက်နှာ၏ စာသား…"}
{"doc_id": "…", "source": "scan.pdf", "page": 2, "kind": "digital", "text": "…"}

JSON field	အဓိပ္ပာယ်
doc_id	မူရင်းဖိုင်၏ SHA-256 ဖြစ်၍ ဖိုင်တူရင် ID တူပါတယ်
source	မူရင်း ဖိုင်အမည်
page	စာမျက်နှာ နံပါတ် (၁ မှ စ)
kind	digital (Text layer)၊ scanned (OCR) သို့မဟုတ် failed
text	စာမျက်နှာ စာသား (Unicode NFC)
error	စာမျက်နှာ မအောင်မြင်မှသာ ပါတယ်

JSONL ကို ဒေတာကိုင်တွယ်တဲ့ tool တွေမှာ သုံးရ လွယ်ကူပါတယ်။ တစ်မျက်နှာလျှင် မှတ်တမ်းတစ်ခု ဖြစ်တာကြောင့် ဖိုင်တစ်ခုလုံးကို တစ်ပြိုင်နက် ဖတ်စရာမလိုဘဲ kind အလိုက် စစ်ထုတ်တာ၊ မအောင်မြင်တဲ့ စာမျက်နှာတွေ ဖယ်တာ၊ doc_id နဲ့ ထပ်နေတဲ့ မှတ်တမ်းတွေ ဖယ်တာတို့ကို လုပ်နိုင်ပါတယ်။

File format တိုင်းရှိ Text normalization

File format အားလုံးမှာ ပြင်ဆင်သန့်စင်ထားတဲ့ စာသားတူတူ ပါပါတယ် - Unicode NFC၊ Zero-width Space များ ထိန်းသိမ်းထားပြီး Control Character များ ဖယ်ရှားထားပါတယ်။ OCR အသုံးပြုနည်းများ တွင် ကြည့်ပါ။