| 以文本方式查看主題 - 曙海教育集團論壇 (http://m.adgdgn.cn/bbs/index.asp) -- SQL Server數據庫 (http://m.adgdgn.cn/bbs/list.asp?boardid=67) ---- 國際化使用UTF-8造成數據庫MSSQL Server 2000/2005存儲亂碼的分析 (http://m.adgdgn.cn/bbs/dispbbs.asp?boardid=67&id=2528) |
| -- 作者：wangxinxin -- 發布時間：2010-12-13 13:34:58 -- 國際化使用UTF-8造成數據庫MSSQL Server 2000/2005存儲亂碼的分析 看了許多網上使用MSSQL Server 2000/2005使用UTF-8造成數據庫存儲亂碼的描述，也說一下自己做的一個國際化項目的經驗。
這個項目描述： 架構：VC++的ATL Server進行開發； 頁面：web頁面是UTF-8編碼，CodePage=65001； 應用服務器程序：編譯好的dll是Unicode編碼; 操作系統:中文Windows 2003 Server; 數據庫聯接方式：OLEDB 數據庫：中文MSSQL Sever2005，顯示Codepage=936, 字段都是支持Unicode的nchar,nvarcha,nText; SELECT COLLATIONPROPERTY(\'Chinese_PRC_Stroke_CI_AI\', \'CodePage\') 936 ________________________________________________ 發現從Web頁面提交的數據到數據后查詢總是亂碼，經過檢查，發現保存的數據直接就是是UTF-8編碼，其CodePage=65001，而數據默認顯示支持的Unicode語言版本Codepage=936（即是簡體中文），所以數據查詢的就是亂碼，想過兩種方案： 1，懷疑是數據時UTF-8編碼，而SQLServer是UCS-2 版本，相通過UTF-8-〉UCS-2轉換，發現還是行不通，仍然亂碼，此路不通； 2， 搜索了網絡發現并沒有現成的例子，經過測試中文系統使用Web頁面為GB2312編碼提交的數據到數據很正常，基于Windows2003是支持 Unicode（UCS-2），排除操作系統的問題，這個過程經過分析可以這么理解：936（Web頁面編碼GB2312）-〉Unicode（應用服務 器端）-〉Unicode（數據庫OLEDB傳輸）-〉UCS-2（數據庫）-〉自動轉化為936（Unicode簡體中文語言版本），而使用UTF-8 的Web頁面這個過程就是：65001（Web頁面編碼UTF-8）-〉Unicode（應用服務器端）-〉Unicode（數據庫OLEDB傳輸）-〉 UCS-2（數據庫）-〉自動轉化為936（Unicode簡體中文語言版本），所以最后的使用數據分析查詢器看到的就是亂碼，最后確定的方案就是兩種手 段：一是更改數據查詢分析器的Codepage為65001，很顯然當前的SQLServer沒有這個功能（沒找到？知道的告訴我）；二是將前端的UTF -8轉為GB2312編碼，很顯然這個最后成功了，這個過程程序還是保留了所有的多語言的特性，一位UTF-8-〉GB2312，這個過程是無損的（新的 驗證會出現部分方塊無法顯示），因為是UTF-8->Unicode->GB2312. 總結： 1，MSSQL Server不支持UTF-8（Codepage=65001）直接顯示，數據庫查詢的顯示數據使用默認的Codepage，如簡體中文版就是936，繁 體中文是950，韓文949等，因此從使用的Web頁面UTF-8提交的數據自動轉換為所用的Codepage顯示，因此就是亂碼，這個有待MS SQL Server進一步發展，因為現在Oracle和MySQL是可以支持直接UTF-8存儲顯示，國際化時請先將數據由UTF-8編碼轉化為MSSQL數據 庫默認的編碼，讀寫出來這個過程著相反進行轉化，這個過程看起來會因為轉化過程影響處理速度（抉擇于國際化）； 2，ASP/ASPX/JSP/PHP使用MSSQL Server編程支持UTF-8都會面臨這樣的問題，可以看看MSDN有關這個方面的解釋 補充：根據測試和MSDN分析，將UTF-8轉化為GB2312并不是很好的方案，這樣會使包含韓文、阿拉伯文等等，這些都會變成問號，所以整個過程并不是很繁瑣，簡化一下： 寫數據庫：瀏覽器表單提交數據（UTF-8）（ANSI編碼）-〉應用服務器端程序（進行UTF-8-〉Unicode）-〉MS SQL Server（自動轉化為字符集936編碼顯示內容，但數據肯定是Unicode方式存儲的）；
讀數據庫：MS SQL Server（936 - Unicode）-〉應用服務器端程序（進行Unicode-〉UTF-8）-〉瀏覽器顯示
注意：其他條件設置不變
兩個使用的函數：
1，UTF8轉化為Unicode，inline為了編譯后更快運行，老用到了，返回字符串為了使用鏈式表達式
inline WCHAR *UTF8ToUnicode(const char *str) throw()
{ int i = MultiByteToWideChar(CP_UTF8,MB_ERR_INVALID_CHARS,str,-1,NULL,0); WCHAR *strUnicode=new WCHAR[i]; MultiByteToWideChar(CP_UTF8,MB_ERR_INVALID_CHARS,str,-1,strUnicode,i); return strUnicode; delete []strUnicode; } 一定要返回WCHAR 或wchar_t類型，否則有些字符就會變成“？”，Unicode（UCS-2）是2個字節寬
2，Unicode轉化為UTF8，inline同上意義
inline char *UnicodeToUTF8(const WCHAR* pText) throw()
{ int i= WideCharToMultiByte(CP_UTF8 |