泰瑞的世界

上個月中旬，我發表「泰瑞版小小輸入法─使用心得篇」一文後，
赫然發現，我舉的重碼字例子：「幾、以、𠫙」的第3個字居然不見了！
重新編輯文章後，還是一樣的結果。
因為「𠫙」是屬於 CJK Ext-B 的字元，
它一個字就佔用了 4 Bytes 的空間，
程式、資料庫處理它時，
不同於處理 CJK、CJK Ext-A（每字 2 Bytes）時那樣好處理。
又發現我早期在痞客邦發表的文章並無異狀，
仍然可以正常顯示出 CJK Ext-B 的字元，
因此研判是痞客邦最近修改過程式或資料庫，
造成新發表的文章會有這個問題（可能修改舊文章也會出現這個問題）。

從原本使用 Windows XP 內建的（傳統）倉頡輸入法，
到使用通用輸入法編輯工具產生「泰瑞倉頡輸入法」，
再到使用自己客製化後的「泰瑞版小小輸入法-倉頡模式」（以下簡稱小小），
這幾年來，我汰換輸入法軟體的目的無非就是想面面俱到且切合自己的需要。說實在的，一旦用慣某套輸入法軟體後，
去用別人的電腦打字時，如果別人的電腦沒有安裝該套輸入法軟體，
使用起來真的會很不習慣！
還好小小有免安裝的優點，用別人的電腦打字時，
只要下載並解壓縮小小，就可以順利打字了！
打完再把小小刪掉，來去不留痕跡！
因此這十個月來我對小小一直愛不釋手。

閱讀本文之前，請先閱讀【使用說明篇】，瞭解最基本的操作方式之後，再依照本文執行內置程序。

---

Windows 版的小小輸入法雖然可以不用安裝，直接執行主程式（yong.exe）就可以輕鬆輸入中文，
但是「免安裝版」（外掛版）仍然有些限制，比如：
(1)組字窗格可能不會跟隨插入點位置。
(2)「預編輯模式」不能實現。
(3)不能在 Windows 8/8.1/10 的市集應用程式（Modern APPs、Metro APPs）裡使用。
(4)在 Excel 文字方塊內或使用文字藝術師時無法輸入文字。
因此使用「安裝版」（內置版）對很多使用者而言是非常需要的。

使用小小輸入法搭配倉頡碼表的情況下，
小小雖然有「反查組字字根時只會列出英數碼而不會列出倉頡碼」的問題，
但是畢竟小小是大陸網友製作的，服務對象也以大陸民眾為優先，
大陸民眾用的中文輸入法大多都是英數碼，
沒有台灣民眾有注音碼、倉頡碼、大易碼這些問題，
所以小小忽略這一部分倒也無可厚非。
（
2011.01.15 補註：
關於「反查組字字根時只會列出英數碼而不會列出倉頡碼」這個問題，
在 2011.01.09 發佈的小小輸入法裡已經被解決了！
但是反查時仍然只能用手動的方式反查，暫時無法設定自動反查！
）

Windows XP 從2001年8月24日發佈後，
微軟就開始為它提供安全性更新，
目前確定會一直提供到2014年4月8日。
在這個期限之前，使用 Windows Update 或自動更新都能下載到 XP 的修補程式。
一個作業系統能有接近13年的安全性更新期間，還真是不簡單！

第一階段：檢查是否有設定範圍內的漏字
我們設定的字元集範圍是 CJK、CJK Ext-A、CJK Ext-B 合計的 70,195 個字，
那麼最終版的對照表裡應該要能找出這 70,195 個不同的字，
否則就是有漏字的問題。
對於形碼（比如：倉頡）輸入法而言，漏字問題較好解決，
因為只要知道字元的形狀，就能推斷出它的組字字根為何。
對於注音輸入法而言，漏字問題有點麻煩，
因為用全字庫網站、康熙字典、漢典…來查找，
可能都找不到這些漏字的注音，
最後只能用「有邊讀邊，沒邊讀中間」的原則來勉強為漏字補上組字字根。
經由前一篇文章的解說，我們得到「CNS_phonetic.xlsx - 工作表1」，
它的表格是這樣的：
A 欄：原始行號
B 欄：字元
C 欄：注音符號
D 欄：曝光名次
E 欄：Unicode 10 進位碼
F 欄：Unicode 字元集種類
它是依照注音符號、曝光名次、字元集種類、10 進位碼的階層順序，
由小而大排列。
我們先準備一個 Excel 檔（命名為：Lose.xlsx），並設定好 4 個工作表：
1.「CJK」工作表：A 欄填入「19968」到「40869」的數值；
2.「CJK-Ext-A」工作表：A 欄填入「13312」到「19893」的數值；
3.「CJK-Ext-B」工作表：A 欄填入「131072」到「173782」的數值。
4.「Temp」工作表：A1 輸入「十進位碼」。
然後將它存檔。
複製「CNS_phonetic.xlsx - 工作表1」E 欄全部的資料，
到「Lose.xlsx - Temp」的 A2 儲存格貼上，
然後以 A1 儲存格為標題列，由小而大排序；
再用「進階篩選」的「不選重複的記錄」功能，
將篩選後的 A 欄數值置放於 B 欄。
接著，
找出 B 欄為「13312～19893」的資料列，複製後，貼到 CJK-Ext-A 工作表的 B 欄；
找出 B 欄為「19968～40869」的資料列，複製後，貼到 CJK 工作表的 B 欄；
找出 B 欄為「131072～173782」的資料列，複製後，貼到 CJK-Ext-B 工作表的 B 欄。
然後，借助「彰化一整天」所提供的「比較ab資料」網頁運算工具，
（網址是：http://272586.blogspot.com/2007/04/blog-post_28.html）
用它來找出「Lose.xlsx」前 3 個工作表的 A、B 欄差異。
因為它是用 VB Script 寫成的程式，所以請用 IE 進行操作。
將「CJK」工作表 A、B 欄的資料，
貼到網頁中的「來源」區域，然後按下「比較ab資料」鈕，
靜候一陣子，就會在「目的」區域得到結果，
把它全選後，複製起來，
將「CJK」工作表的資料全清空，再於 A1 儲存格貼上，
就能得到下列結果：
前兩欄為原始的 A、B 欄資料，
第三欄應是空白的（代表 B 欄有，A 欄沒有），
而第四欄的資料（代表 A 欄有，B 欄沒有），即是我們想知道的「缺字碼位」，
第五欄的資料代表 A、B 欄都有的資料，所得結果和 B 欄是一樣的，可以將它刪除。
採取以上相同的作法，
即可為「CJK-Ext-A」、「CJK-Ext-B」兩個工作表找出我們想知道的「缺字碼位」。
再運用「Unicode code converter」網頁將「缺字碼位」轉為「缺字字元」後，
在「CNS_phonetic.xlsx - 工作表1」裡添加這些缺字的資料，
唯獨要注意的是：
A 欄（原始行號）：一律填「-」；
D 欄（曝光名次）：一律填「-」；
然後本階段的工作就算完成了！

無論是使用 gcin、Yahoo! 奇摩輸入法、小小輸入法平台搭配對照表，
或是使用「通用輸入法編輯工具」將對照表轉成輸入法程式，
對照表的排序方式將會影響候選字的排列順序。
一般而言，遇到重碼而必須選字時，候選字的排列順序最好是：
1.先排 CJK 字元集的熱門字，使用頻率較高的排在較前面。
　比如：同樣唸「ㄏㄨㄥˊ」的字，「紅」較常用，「洪」、「宏」次之…
　所以排序應該是「紅、洪、宏…」。
　較難的地方是必須兼顧破音字的使用率，
　比如：「期年」的「期」唸「ㄐㄧ」，
　但是同樣唸「ㄐㄧ」的字，「機、基、積…」比「期」常用，
　此時「期」就要比「機、基、積…」排得更後面。
2.次排 CJK 字元集的冷門字。
　比如：簡體字、罕見字（煊、堃、綉…）。
3.接著排 CJK Ext-A 字元集的字。
4.最後排 CJK Ext-B 字元集的字。
因為 CJK Ext-A、CJK Ext-B 的字都是罕見字，
所以直接依照 Unicode 10 進位碼排序即可。
「全字庫注音資料表格」並沒有按照上述的原則來排列，
因此，依照前一篇文章製作出來的「CNS_phonetic_v1.txt」並不符合我們的需求。
我們需要一個帶有「曝光名次」的表格來當作排序時的指引，
越常被使用的字，「曝光名次」越前面。
但是，這個表格不能只有「字元 V.S. 曝光名次」，
因為一般而言，「期」的曝光率會比「積」來得高，
這樣排序後，打「ㄐㄧ」的注音時，「期」會比「積」排得更前面。
所以，我們需要一個「組字字根-字元 V.S. 曝光名次」的表格，
也就是必須把「組字字根-字元」複合起來，再與「曝光名次」相互對照。
Firefly 於 2006 年依據「全字庫文字屬性規範 94.2 版」
而製作的「全字庫注音輸入法參考檔」的排列順序正好滿足我們的需求，
我們可以選取 Firefly 做的 cin 檔裡的「組字字根 V.S. 字元」部份，
將「組字字根」與「字元」間的多個空白取代為單一空白，
然後貼到 Excel（命名為：Firefly_Order.xlsx）「工作表1」的 A 欄裡，
B 欄則產生由 1 開始的數列，當作「曝光名次」，
然後將它存檔。
（如果您要整理的是倉頡、筆劃輸入法的話，
只要在 A 欄貼上已經排名過的 Big5 字元，
B 欄產生數列當作「曝光名次」即可，其餘步驟都相同）
如果各位按照前一篇文章的講解而完成「CNS_phonetic.xlsx」的話，
它的「工作表1」應該是這樣的：
A 欄：原始行號
B 欄：字元
C 欄：注音符號
而完成的「CNS_phonetic_v1.txt」則是一列一列的「組字字根 字元」，
它們都是按照字元由小而大排序。
將「CNS_phonetic_v1.txt」的內容全選後，
貼到 Excel（命名為：Temp.xlsx）「工作表1」的 A 欄裡，存檔後關閉。
然後將「Firefly_Order.xlsx - 工作表1」的 A、B 欄，
貼到前一篇文章提到的「part_replace.xlsm」的 B、C 欄，
再將 A2 儲存格修改為「Temp.xlsx」，
最後按下「開始整批取代」按鈕，
等待一段時間後，當畫面提示「取代完成,請切換視窗查看結果」時，
即可將當下開啟的兩個 Excel 檔儲存，
這時「Temp.xlsx - 工作表1」的資料會變成：
A 欄：曝光名次
將這欄「曝光名次」貼到「CNS_phonetic.xlsx - 工作表1」的 D 欄，
這時「工作表1」應該是這樣的：
A 欄：原始行號
B 欄：字元
C 欄：注音符號
D 欄：曝光名次
並且是按照字元由小而大排序。
改成按照曝光名次由小而大排序後，
會發現後面資料列的 D 欄仍是字元，
這些資料列是超出 Firefly 的 cin 檔範圍而沒有被取代掉的部份，
將它們的 D 欄全改為「-」後，再存檔即可。
再將 B 欄內的資料貼到「Unicode code converter」網頁的「Characters」欄裡，
轉成對應的 10 進位碼（Decimal code points），並稍做整理後，
貼到「CNS_phonetic.xlsx - 工作表1」的 E 欄，
按照 E 欄由小而大排序後，
找出 E 欄為「13312～19893」的資料列，在其右側的 F 欄填入「A」；
找出 E 欄為「19968～40869」的資料列，在其右側的 F 欄填入「0」（數字的零）；
找出 E 欄為「131072～173782」的資料列，在其右側的 F 欄填入「B」；
它們分別代表 CJK Ext-A、CJK、CJK Ext-B 的字元。
這時「CNS_phonetic.xlsx - 工作表1」應該是這樣的：
A 欄：原始行號
B 欄：字元
C 欄：注音符號
D 欄：曝光名次
E 欄：Unicode 10 進位碼
F 欄：Unicode 字元集種類
並且是按照 Unicode 10 進位碼由小而大排序。
此時，再用自訂排序方式，
依照注音符號、曝光名次、字元集種類、10 進位碼的階層順序，
由小而大排列，那麼改善排序這個階段的工作就算結束了！
先別急著轉成純文字檔的對照表，下一篇介紹完檢查錯誤的方式後，我們再來轉換。

一、第一階段：產生「字面-編碼 V.S. 字元」的表格
全字庫屬性檔（倉頡、注音、拼音、筆劃…）全為純文字檔，
雖然具有 CSV 格式的特性，
（差別在於 CSV 有標題列，並以逗點分隔；
而全字庫屬性檔則是無標題列，並以 Tab 字元分隔，
各欄代表的意義另外記載在「全字庫屬性資料說明文件.txt」裡）
但是各文字檔裡沒有直接列出對應的字元（漢字、符號）！
以注音屬性檔為例，只有列出「CNS 字面、CNS 編碼、注音符號」這三欄。
這應該是因為漢字及符號容易受到字型的影響而產生顯示上的問題，
所以在各文字檔裡，以字面及編碼來代替對應的漢字及符號。
因為我們要整理出「組字字根 字元」這種格式的對照表，
（組字字根為對應鍵盤上的按鍵）
所以必須先將字面及編碼轉換成對應的字元。
轉換前有個重點要注意：
因為 CNS 編碼是由 4 個 16 進位的數值組成的，
所以每個字面最多只能容納 65,536 個字元，
但是全字庫收錄字數超過 10 萬個，
因此全字庫小組將所有字元區分成 1 至 15 個字面，
（第 10 個字面標示為 A 字面，第 11 個字面標示為 B 字面…第 15 個字面標示為 F 字面）
兩個不同的字面會有相同的編碼，所以要將「字面-編碼」複合起來才會是唯一的編碼！
具體作法是先將「全字庫主要資料表格」（CNS_main_20100413.txt）的內容全選後，
貼到 Excel（命名為：CNS_main.xlsx）的空白工作表（工作表1）裡，
這時「CNS_main.xlsx - 工作表1」會有這 6 欄：
A 欄：CNS 字碼的字面（16 進位）
B 欄：CNS 字碼的編碼（16 進位）
C 欄：該 CNS 字碼的 EUC 編碼（16 進位）
D 欄：該 CNS 字碼的 Big5 編碼（16 進位）
E 欄：該 CNS 字碼是否為 Big5E（Y 或 N）
F 欄：該 CNS 字碼的 Unicode 編碼（16進位）
其中，C、D、E 欄是用不到的，可以將它們刪除，
刪除後，「CNS_main.xlsx - 工作表1」會有這 3 欄：
A 欄：CNS 字碼的字面（16 進位）
B 欄：CNS 字碼的編碼（16 進位）
C 欄：該 CNS 字碼的 Unicode 編碼（16 進位）
將 A、B 欄剪下，貼到 EditPlus 裡，
再用正規表達式將「\t」（Tab 字元）全部取代為「-」，
最後再全選後，貼回 Excel 工作表的 B 欄，
然後在 A 欄產生數列，當作原始行號，方便將來備查。
再把 C 欄的 Unicode 16 進位碼貼到：
「Unicode code converter」網頁的「Hexadecimal code points」欄裡，
轉成對應的 10 進位碼（Decimal code points）及字元（Characters）後，
貼回 Excel 工作表的 D、E 欄，
這時，「CNS_main.xlsx - 工作表1」會有這 5 欄：
A 欄：原始行號
B 欄：字面-編碼
C 欄：Unicode 編碼（16 進位）
D 欄：Unicode 編碼（10 進位）
E 欄：字元
完成這個工作表後，可以複製成另一個工作表（CNS_main.xlsx - 工作表2），
然後按照 D 欄（Unicode 10 進位碼）由小至大排序，
再依 D 欄的數值，選取 CJK、CJK Ext-A、CJK Ext-B 以外的資料列並刪除，
最後再存檔，那麼本階段的工作就算結束了！
需要注意的是：
1.最好先把 Excel 的儲存格格式設為「文字」，再貼上，後續較不會有錯誤發生。
　只是以後排序時，要把看似數字的資料當成數值來排序。
2.得到的 Decimal code points 資料可能要再用 EditPlus 稍做整理，
　意即：用正規表達式將「 10 」全部取代為「\n」（換行字元），
　才會得到一列一數值的結果。
3.比較舊的電腦一次處理好幾萬列的數值或字元可能會非常緩慢，
　需要分批進行轉換才不會當機，並且可能要多花點時間等待。
4.如果不想一直收到 IE 發出停止執行指令碼的警告，
　可以修改系統組態登錄檔成為：
　[HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\Styles]
　"MaxScriptStatements"=dword:ffffffff
以上這些注意事項同樣也適用於以後各階段的整理工作，之後就不再贅述。
二、第二階段：產生「字元 V.S. 注音」的表格
將「全字庫注音資料表格」（CNS_phonetic_20100413.txt）的內容全選後，
貼到 Excel（命名為：CNS_phonetic.xlsx）的空白工作表（工作表1）裡，
這時「CNS_phonetic.xlsx - 工作表1」會有這 3 欄：
A 欄：字面
B 欄：編碼
C 欄：注音符號

一、瞭解整理目的：
我們整理的目的是利用全字庫屬性（碼表）製成「組字字根 字元」格式的對照表。
全字庫屬性的電子檔，可透過公司、組織或個人名義向全字庫授權小組提出申請，
申請方式請參閱：http://www.cns11643.gov.tw/AIDB/cns_authorization_apply.do
二、界定整理範圍：

最近受到網友寫信和我討論全字庫輸入法表格的影響，
我終於鼓起勇氣以個人名義申請了全字庫授權光碟。
收到光碟後，
我就開始不斷的以 Excel、EditPlus、彰化一整天 Blog 提供的工具，
以及 Unicode 轉換程式…等軟體來整理對照表，
經過連日來的奮戰，終於搞定全字庫的倉頡、注音、漢語拼音對照表！
這次整理的注音和漢語拼音對照表，比起一年前多前整理的要好很多！
完全去除不合邏輯的注音和拼音！
我覺得注音沒有絕對的對或錯，
（比如「淆」字在大陸唸「ㄒㄧㄠˊ」，在台灣唸「ㄧㄠˊ」）
只有合乎或不合乎邏輯！
（比如任何字都不會有「ㄅ」這種注音，因為聲母不能獨立於韻母之外，
所以規定小學生要把「ㄅ」唸「ㄅㄜ」而不能唸「ㄅㄡ」的老師應該算學識不足）
因此，只要合乎邏輯的我都放行，不合乎邏輯的儘量不要放過。