unicodedata: Pythonの文字データを扱うための強力なライブラリ

Pythonを使ってテキストデータを処理することは、しばしばあることでしょう。
その際、文字に関する情報を取得したり、文字の変換を行ったりする必要があることがよくあります。

そんな時に役立つのが、Pythonの標準ライブラリであるunicodedataです。
unicodedataは、テキストデータに関して様々な操作を可能にします。

unicodedataの主な機能

文字プロパティの取得

unicodedataを使用すると、文字のカテゴリ、双方向クラス、数値などのプロパティを取得することができます。

import unicodedata

char = 'A'
print(unicodedata.category(char))  # 'Lu' (大文字のL)
print(unicodedata.bidirectional(char))  # 'L' (左から右への書字方向)
print(unicodedata.decimal(char, None))  # None (10進数値を持たない)
print(unicodedata.numeric(char, None))  # None (数値を持たない)

文字の正規化

unicodedataは、文字列の正規化を行うためのnormalize関数を提供しています。
正規化により、異体字を標準的な形式に変換することができます。

import unicodedata

text = 'ﬁ'  # 'f' と 'i' の合字（異体字）
normalized_text = unicodedata.normalize('NFKC', text)
print(normalized_text)  # 'fi'

上記の例では、’NFKC’（Normalization Form Compatibility Composition）を使用して正規化を行っています。
‘NFKC’は、互換性のある文字を標準的な形式に変換する正規化形式です。

異体字 ‘ﬁ’（’f’ と ‘i’ の合字）が、標準的な文字の組み合わせ ‘fi’ に変換されています。

文字の判定

unicodedata モジュールには、個々の文字が特定のカテゴリに属するかどうかを判定するための関数が用意されています。

import unicodedata

char1 = 'A'
char2 = '0'
char3 = '+'

print(unicodedata.category(char1))  # 'Lu' (大文字のアルファベット)
print(unicodedata.category(char2))  # 'Nd' (10進数字)
print(unicodedata.category(char3))  # 'Sm' (数学記号)

print(unicodedata.category(char1) == 'Lu')  # True
print(unicodedata.category(char2) == 'Nd')  # True
print(unicodedata.category(char3) == 'Sm')  # True

上記の例では、unicodedata.category() 関数を使用して、各文字のUnicodeカテゴリを取得しています。
返された文字列を特定のカテゴリと比較することで、文字の種類を判定できます。