前回の記事では、独自ドメインを利用して「AIに読ませるための個人HTMLリポジトリ」を構築した経緯を紹介しました。今回はその実践編として、2014年に出版した論文のWordファイルをHTML化する過程で遭遇した問題と、その解決方法についてお話しします。
古いWordファイルに残る「Symbolフォント」の問題
過去の論文をオープンアクセス化しようと古いWordファイルを開いた経験のある方には、覚えのある話かもしれません。
2010年代前半ごろまでのWordファイルでは、ギリシャ文字（α、β、γなど）や特殊記号を入力する際、正規のUnicode文字ではなく、アルファベットの「a, b, g」を入力してからフォントを「Symbol」に変更する、という方法が広く使われていました。
前回の記事で作成した「WordからHTMLへ変換するPythonスクリプト」に2014年の原稿を通してみたところ、まさにこの問題に行き当たりました。変換されたHTMLをブラウザで開くと、本文中にあったはずの「α」や「γ」が、四角い記号や別の文字に置き換わったり、そのまま欠落したりしていたのです。
論文全体を見渡して、文字化けした箇所を一つひとつ正しいUnicodeのギリシャ文字に打ち直していく——最初に頭に浮かんだのは、そうした地道な修正作業でした。
教訓：手動で直す前に、まずAIに相談する
ここで得た教訓を一つ挙げるとすれば、「自動化できる作業は手動でやらない。自動化できるかどうか分からない場合も、まずAIに聞いてみる」ということに尽きます。
私は手作業での修正に取りかかる前に、AIに「古いWordのSymbolフォントが原因で文字化けが起きている。良い対処法はないか」と尋ねてみました。
するとAIは、Symbolフォント特有のプライベート領域の文字コード（U+F000番台）を正しいUnicodeに一括置換する処理をスクリプトに追加する、という方法を提案し、そのままPythonのコードを書き換えてくれました。あわせて、変換漏れがないかをスキャンして警告を出すチェック機能も加えてくれました。
改訂されたスクリプトを実行すると、数秒ですべてのギリシャ文字や記号が正しく修復されたHTMLが生成されました。当初想定していた手作業での修正は、結局まったく必要ありませんでした。
図表のマークアップを整えて、AIに正確に伝える
文字化けの問題が解決した後は、検索エンジンに適切に文書の構造（図表を含む）が伝わるようにするための調整を行いました。
Wordから変換した直後のHTMLでは、図表が「単なる画像」や「段落の羅列」として出力されることがあります。人間の目には見出しや図表として認識できても、AIにとっては構造の分かりにくい状態です。
そこで、ブログ（Blogger）の編集画面上で、次のようなひと手間を加えます。
- 図（Figure）：
<figure>タグで画像を囲み、その説明文を<figcaption>タグでくくる。 - 表（Table）： 画像として貼り付けるのではなく、テキストデータの
<table>タグとして記述し、タイトルは<caption>、見出し行は<th>を使う。
こうしておくと、「ここからここまでが図表のセットで、この文章がその説明文である」という構造（セマンティクス）を、AIに推測させることなく正確に伝えられます。
過去の論文に、新しい読者との接点を
なぜ10年前の論文をわざわざHTML化するのか。
手動での文献検索が主流だった時代には、引用数がそれなりにあり、関連分野の専門家には知られている論文であっても、オープンアクセスになっていない（PDFの壁の向こうにある）限り、AIを使った検索を多用する新しい読者層には届きにくくなっていくのではないか、と考えているからです。
眠ったままになりがちな過去のデータでも、AIが確実に読み取れるHTMLという形に変換してWeb上に公開し直すことで、異分野の研究者や新しい世代の読者と出会える可能性が広がります。
独自ドメインを取得する必要は必ずしもありません。Bloggerなどの無料ブログサービスを使えば、こうした「個人リポジトリ」は誰でも手軽に始められます。もしお手元のPCに眠っているWordファイルがあれば、AIの力を借りてHTML化を試してみてはいかがでしょうか。
※注意：論文をセルフアーカイブ（著者最終稿の公開）する際は、出版社ごとに著作権や公開可能時期（エンバーゴ）の規定が異なります。実践される際は各ジャーナルのポリシーを必ずご確認ください。著作権のクリアランスに関する話題は、機会があれば別の記事で取り上げたいと思います。
0 件のコメント:
コメントを投稿