AIコンテンツチェッカーが役に立たないことを証明する5つの例

プロの作家であっても、定期的にエッセイを書く学生であっても、自分の作品を AI コンテンツ チェック ツールに通して、100% AI によって生成されたライティング結果を得ることにうんざりしているかもしれません。実際には、AI コンテンツ チェッカーは必ずしも信頼できるわけではなく、次の 5 つの例でその理由がわかります。

1. AIに書いてもらう段落

AIコンテンツチェッカーが100％正確であれば、ChatGPTによって生成されたコンテンツは100％AI生成としてフラグ付けされるはずですよね？

テストによると、ChatGPT のコンテンツは 70% ～ 100% が AI によって生成されたものであることが判明しました。しかし、数回試した後、ChatGPT によって生成されたテキストは 100% 人間が書いたものであることが判明しました。

たとえば、著者はChatGPTにiPhone 15 Proカメラに関する会話を書くように依頼しました。フィードバックは、最も先進的で信頼性の高い ChatGPT、GPT4、AI コンテンツ検出エンジンである ZeroGPT を通じて実行されます。

案の定、ZeroGPT はこのテキストが 100% 人間によって書かれたものであると報告しています。

では、AI が生成したコンテンツを人間が書いたものとしてマークできる場合、反対の状況でもその結果は信頼できるのでしょうか?

2. アメリカ合衆国独立宣言

アメリカ独立宣言は1776年7月4日に議会で採択されました。つまり、約250年前に書かれたことになります。

起草者であるトーマス・ジェファーソンがタイムトラベルの能力を持っていなかった限り、AI がアメリカ独立宣言を書くことは絶対に不可能です。興味深いことに、ZeroGPT はそうは考えておらず、AI がテキストの 97.75% を生成したと主張しています。それはばかげている！

3. 聖書

ヘブライ語聖書は、独立宣言のおよそ 1,676 年前、西暦 100 年頃に完成しました。 ZeroGPT のような AI 検出器は、有名な文学作品や歴史書が AI モデルに影響を与えるため、それらの作品を AI 生成としてフラグ付けすることがよくあります。

いずれにせよ、ZeroGPT に聖書のテキストを入力すると 100% AI 生成の警告が表示されるという事実は、コンテンツ検出器を完全に信頼することはできないことを証明しています。

4. モビー・ディック

ハーマン・メルヴィルが海上での体験を綴った『白鯨』は、AI が発明されるずっと前の 1851 年に初めて出版されました。著者は第 1 章の有名な抜粋を ZeroGPT に通したところ、88.24% が AI によって記述されていることが判明しました。

AI モデルはこのような古典文学作品の影響を受けているため、この結果はまったく驚くべきものではありませんが、有名なテキストが AI 生成として誤分類されたという事実は、依然として重要な問題を浮き彫りにし、コンテンツ検出ツールがいかに信頼できないかを示しています。

5. Appleの最初のiPhoneのプレスリリース

確かに、AI モデルはシェイクスピアや白鯨のような古典文学作品を含む多種多様なテキストでトレーニングされています。これは、コンテンツチェッカーに通したときに「Moby Dick」が AI 生成であると誤認される理由を説明できるかもしれないが、Apple のプレス リリースが AI モデルのトレーニングに使用されるという考えは不合理に思える。

著者は、Apple の新しいプレス リリースをチェッカーで実行する代わりに、Apple のニュース アーカイブを検索し、iPhone に関する Apple の最初のプレス リリースを見つけました。著者はプレスリリース全体を ZeroGPT に貼り付けたところ、コンテンツの 89.77% が AI によって生成されたものであることが検出されました。

見出しと1、2段落を除き、残りのテキストはAIによって生成されると言われています。

全体として、実験を試すことができる AI 検出ツールはたくさんあります。しかし、結局のところ、AI コンテンツ検出ツールは機能しません。これは、AI によって生成されたテキストを検出することがさらに困難になることを意味しますが、完全に AI によって書かれたテキストは、注意深く読むだけで認識できます。