生成AIっぽい文章から、AIっぽさをなくすための当社の取り組みについて解説します。

こんにちは、Media Analytics運営の河合です。(@dkawai_ma)

自社のメディアを運営していて、生成AIっぽい文章を納品してくるライターに対して指摘する工数が増えている
生成AIっぽい文章を修正させたいがどうしたらいいかわからない

という悩みを抱えているインハウス編集者の方もいらっしゃるのではないでしょうか。

実際にAIっぽい文章を修正したいニーズはかなりありそうでして、Googleのサジェストで以下のような候補が出ていました。

自社で私自身が校閲など行う中で、生成AIっぽさについて言語化できてきたので、今回は

生成AIっぽい文章とは何か？
なぜそれが起こるのか？
どうやったらそれを治せるのか？

について、考えていることを書いていこうと思います。

※なおちょうど今月から着手を始めた施策なので、どんどん更新していく予定です。

生成AIっぽい文章とは

生成AIっぽい文章とは、人間がみた時に「意味は通るけど、少し不自然で機械が書いたということがわかる」文章になります。

※ChatGPTで書くとChatGPTっぽい文章になります。各言語モデルによっても少しずつ生成AIっぽい文章のテイストが変わります。

生成AIっぽい文章を書いて著作物として公開する際の潜在的な問題点

さて、生成AIっぽい文章でも、「わかればええでしょ」と思う方もいらっしゃるかもしれません。

私も最初はその派閥でした。しかし、だんだんと意見が変わってきました。

SEO的な観点だと、正直そこまで影響はないと思います。一方で、生成AIっぽい文章を書いてコンテンツを公開する際、「リサーチやファクトチェックが甘くなる」という問題がより本質的な問題なのではないかと思います。

普段かなり言葉を大事にされている編集者さんなどが生成AIを使う場合は、特に問題が起こりません。言い回しがおかしいければ自分で修正可能です。

しかし、編集経験がない方だと、生成AIを使って記事を書いた際に、以下の問題が発生します。

生成AIを使って書いた内容の正誤が判断できない（ファクトチェック不足）
生成AIにリサーチを任せてしまい、深い内容が書けない（リサーチ不足）

生成AIの利用を許可するメディアだと、単純な生成AIっぽいかどうか以前に、上記のような問題が露呈しやすくなります。

生成AIは生半可一見正しそうな内容をアウトプットしてしまうため、このような問題が起こっていることに管理者側が気づきづらくなります。このオペレーションにより「生成AIによるライター側のファクトチェックやリサーチ不足を包み隠してしまうこと」がより大きな問題なのではないかと考えています。

生成AIっぽい文章の特徴

ところで、私個人で校閲を行なってきた結果気づいたこととして、生成AIっぽい文章には以下の2つの特徴があります。

曖昧な表現
日本語のカルチャーに沿っていない翻訳

曖昧な表現

生成AIは、参照する情報のコンテクストが少ないと、とても抽象度の高い言葉を使う傾向にあります。

動詞が抽象度が高い言葉
名詞の抽象度の高い言葉

例えば、生成AIは「サポート」「提供」「調整」といった、非常に抽象的な動詞を多様する傾向にあります。

「職種ごとの転職に精通したアドバイザーがサポート」

という文言も、本来であれば

「職種ごとの転職に精通したアドバイザーが、面接対策から日程調整まで伴走してくれます。」

のように、より具体な表現が必要になってきます。

自社ツールで生成AI特有の言い回しをリストアップして検出できるように対応していますが、やはり抽象度の高い言葉の周りは、具体度の少ない説明が多くなる傾向があります。

また、このような抽象的な文言の比率が上がることによって、本来入れるべきである対象の専門用語の出現率も落ちるため、SEO的な影響も受けるのではないかと考えています。

日本語のカルチャーに沿っていない翻訳

また、生成AIは後述する言語学習のフローから、日本語カルチャーに馴染まない翻訳英語が利用されることが多いです。

正：フリーランス→誤：フリーランサー
正：マッチングアプリ→誤：誤：デーティングアプリ

こちらは推測ですが、言語タスクを行なったOpenAIの外注先が「日本語は家族内で利用しているが、日本には居住していない何者か」にタスクを行わせたのではないかと疑っています。つまり、「日常的に日本語は利用しているが、日本語カルチャーを理解していない」人が言語タスクを行なった結果、日本語翻訳する際に不自然な日本語になるケースが多いのではないかと考えられます。

※ 余談ですが、生成AIが生まれてから、論文で今まで利用されなかった「delve」という単語が多用されるようになったらしいのです。これはChatGPTの言語学習チューニングプロセスの中に、ナイジェリア英語話者にタスクをアウトソースした結果ChatGPTの出力に影響を与えるようになったらしいです。

ところで、実はこの論文で指摘されている事態の裏側にある真相が、既に報道で取り上げられています。それは、ChatGPTのRLHF（ヒトのフィードバックによる強化学習）プロセスの多くが、アウトソースされた（比較的人件費の安い）ナイジェリアのオペレーターたちによって行われた結果である、というものです。そもそも、例えば”delve”という単語はナイジェリア英語ではビジネスフレーズの中では比較的頻繁に用いられるそうで*3、それらのナイジェリア英語によるチューニングの結果がChatGPTの出力に影響している、ということのようです https://tjo.hatenablog.com/entry/2024/05/31/171000

生成AIっぽい文章にならないような具体的な対策方法

2024年10月29日現在の私の仮説ですが、生成AIっぽい文章にならないように文章を生成するには、以下のステップで対応していくのがよいでしょう。

事前情報（データソース）をプロンプトに追加する
リサーチプロセスと執筆プロセスの分離
生成AI日本語のリストアップ + 検知ができるようにする
より具体度の高い用語をリサーチツールを入れてリライトする

事前情報（データソース）をプロンプトに追加する

なぜ生成AIで抽象的な解説になってしまうかというと、具体的な背景情報が存在しないためです。背景情報が存在しないため、知り得ない情報については、あまり具体的に書けず、その結果、抽象度の高い動詞になってしまうのではないか。と考えています。

これらの問題は、RAG（事前にプロンプトに情報を与えること）を使うことで、問題が発生しなくなるのではないかと考えています。

リサーチプロセスと執筆プロセスの分離

上記のデータソースに関連しますが、リサーチ不足やファクトチェックは生成AIにリサーチを任せているから起こる問題かもしれません。

そもそもリサーチを前工程でしっかりやっておき、執筆フローのみ生成AIに任せれば問題は起きづらいかと思います。（CMSのHTMLの入稿等。）

生成AIを利用して、執筆プロセスの中にリサーチを部分的に含めているからこそ起こる問題なので、ここを分離できるとうまくいく可能性が高そうです。

具体的な運用としては、以下のやり方がよさそうです。

スプレッドシートをマスタデータとして、リサーチを分離する
入稿のタイミングのみ、データソースとしてスプレッドシートを利用し、執筆を行う

生成A特有の日本語表現のリストアップ + 検知ができるようにする

生成AIくさい言い回しをリストアップして、単純な一致条件で確認するのでも十分でしょう。とにかく生成AI使って、抽象度の高い言い回しや、非日本カルチャーな日本語を検出できるようにすれば、ライター、ディレクター自身でもセルフチェックが可能になりそうです。

より具体度の高い用語をリサーチツールを入れてリライトする

上記で検出した生成AIっぽい文章に対して、共起語・関連キーワードでもなんでも良いので、とにかく具体度の上がるキーワードを入れていくリライトを行うのがよいでしょう。