ロメロ　ピーター

AIサイエンティスト、 バレンシア人工知能研究所（VRAIN）、 バレンシア工科大学

研究員、 心理測定センター、 ケンブリッジ大学

客員研究員、 慶應義塾大学

指導教員： José Hernández-Orallo
メール： prr28@cam.ac.uk

Google Scholar  ·  CV  ·  ケンブリッジのプロフィール  ·  LinkedIn  ·  GitHub  ·  X  ·  Bluesky  ·  Instagram

近況

• VRAINでは、 José Hernández-Orallo とともにAI評価に取り組んでいます。言語モデルやエージェンティックなシステムの課題成績だけでなく、その行動傾向をどう測定するかが主題です。
• マイクロソフトの Agentic AI Research and Innovation（AARI） プログラムのもと、 AgentGuard を提案し、採択を受け、マイクロソフトリサーチの Haotian Li とともに共同で率いています。Azure上のエージェンティックAIを予測可能にするための早期警戒とルーティングです。
• ケンブリッジと Google DeepMind の研究者とともに、言語モデルにおけるパーソナリティ特性の評価と形成のための心理測定的枠組みを Nature Machine Intelligence に発表しました （Serapio-García et al., 2025）。
• 大切にしている研究の一線は、AIシステムにおける能力と傾向の区別です （Romero-Alvarado et al., 2026を参照）。 リーダーボードの多くは前者を測りますが、安全性に関する問いの多くは後者に依存します。
• ケンブリッジでは、主に教育を通じて、 ピープルアナリティクス の応用も細く続けています。

研究

研究の主題は測定です。信頼性、構成概念妥当性、項目反応モデルをはじめとする心理測定の方法を、大規模言語モデルとエージェンティックなシステムに適用しています。対象が質問紙ではなく表現や確率幾何である場合には、代数的トポロジーと情報幾何も用います （Fitz, Romero & Schneider, 2024）。 モデルを人として扱うことが目的ではありません。擬人化はこの分野の恒常的な問題です。関心があるのは基質非依存の心理測定です。人間の心を前提とせず、人工・ハイブリッド・人間の各システムに対して正当化できる尺度と構成概念です （Romero, Fitz & Nakatsuma, 2024）。 目指すのは、傾向、リスク、介入についての主張を支えうるほど安定した測定です。

研究の大部分は、次の三つの区別で整理されます。

• 能力対傾向。 ベンチマークは通常、ある試験手続きのもとでシステムが何をできるかを記録します。安全に関わる行動は、しばしば何をしがちかに依存します。欺瞞、過信、迎合、目標の防衛、およびそれに類する傾向です。エージェントにおいては、そうした傾向は静的なプロフィールではありません。時間とともに変化し、階層をなし、相互作用を通じて波及します。一方のエージェントの性向が、他方のエージェントの環境になるのです。それは、仕事にとってもAI安全性にとっても、測定の問題です。より長い時間尺度では、選択の問題でもあります。行動傾向を変異させ、保持し、増幅する自律システムは、人間と機械の生態系に新たな進化圧を及ぼします。人間の潜在特性に心理測定学が向けたのと同じ真剣さで、これらの傾向を測る研究をしています。ただし、人間の特性目録を既定として写すことはしません。
• 単一システム対集団。 モデルが互いに、また人と相互作用するエージェントとして配備されると、リスクの一部は個々のエージェントの属性ではなくなります。協調、結託に類する振る舞い、それに関連する集合的パターンは、個体水準だけでなく集団水準でも測る必要があります。これにはハイブリッドなシステム（同一のループにおける人間と人工エージェント）と、そうした集団の進化動態も含まれます。エージェントが互いに適応するとき、構成、規範、戦略がどう変化するかです （Horibe et al., 2026）。
• 遅い失敗対早期警戒。 課題の終了を待つと、手遅れになることが少なくありません。推論の痕跡、ツールの使用、相互作用の構造、表現における幾何的・位相的構造といった、軌跡の初期信号が、望ましくないパターンが固まる前のルーティングや中断を支えうるかどうかに関心があります。システムがより自律的になるほど、この問題は先鋭化します。自己調節し、自己改善し、自己進化するエージェントは、実行中に変化します。一回きりのベンチマークは、誤った尺度です。測定は、凍結したチェックポイントにおける能力だけでなく、変化する傾向を追う必要があります。

具体的には、ケンブリッジとGoogle DeepMindの研究者とともに Nature Machine Intelligence に発表した、言語モデルにおけるパーソナリティ様の反応パターンの心理測定的評価と形成 （Serapio-García et al., 2025）、および関連する研究 （Romero, Fitz & Nakatsuma, 2024； Fitz, Romero et al., 2025）、 モデルの成績を人間を基準（アンカー）とした尺度へ位置づける研究 （Romero et al., 2026）、 相互作用するLLMエージェントにおける集合的適応の研究 （Horibe et al., 2026） などが含まれます。現在の応用の場は AgentGuard です。今後は、自らを調節し、改善し、進化させるエージェンティックなシステムの評価に、さらに特化したいと考えています。

所属はプロダクトラボではなく、AI評価のグループです。デモが印象的かどうかよりも、主張が測定可能かどうかに関心があります。

AgentGuard

AgentGuardは、私が提案し、マイクロソフトの Agentic AI Research and Innovation（AARI） プログラムで採択され、マイクロソフトリサーチの Haotian Li とともに共同で率いているプロジェクトです。公式ページ： Early-Warning and Routing for Predictable Agentic AI on Azure。

問題を述べるのは簡単で、測るのは難しいです。エージェンティックなシステムはトークンを消費し、ツールを呼び、ときに遅く失敗します。AgentGuardが問うのは、軌跡の前半に、残りを予測する十分な情報がすでに含まれているかどうかです。うまくいっていないものを止め、別のエージェント、別の計画、あるいは人間へルーティングすることです。評価の側は、単一のリーダーボード得点ではなく、 ADeLe を通じた需要に応じた評価です。

担当は測定の層です。早期警戒が役立つのは、信号が実在するものに対応している場合に限られます。個々の行動傾向、そして複数のエージェントが共に動くときの集団水準のパターン——ハイブリッドなチームを含めて——です。これは工学の問題であると同時に、心理測定の問題です。信頼性、妥当性、そして得点がホールドアウト課題における行動を予測するかどうか。あたかも普遍的なオントロジーであるかのように、人間のパーソナリティ検査を滑り込ませることなく。チーム編成は、能力評定の一覧ではありません。傾向は変化し、重なり、伝播しえます。チーム内の進化動態は後付けではなく、測るべき対象の一部です。

本プロジェクトは、 José Hernández-Orallo およびVRAIN / バレンシア工科大学、東京大学、理化学研究所、マイクロソフトリサーチの同僚との共同研究です。

主な論文

より完全で新しい一覧は Google Scholar にあります。プレプリントはその旨を記しています。

Serapio-García, G., Safdari, M., Crepy, C., Sun, L., Fitz, S., Romero, P., Abdulhai, M., Faust, A., and Matarić, M. (2025). A psychometric framework for evaluating and shaping personality traits in large language models. Nature Machine Intelligence, 7, 1954–1968.

Romero-Alvarado, D., Martínez-Plumed, F., Pacchiardi, L., Save, H., Pawar, S. M., et al. (2026). Capabilities ain't all you need: measuring propensities in AI. arXiv:2602.18182. プレプリント.

Romero, P., Martínez-Plumed, F., Tidler, Z. R., Téhénan, M., Chen, S., et al. (2026). From human-level AI tales to AI leveling human scales. arXiv:2602.18911. プレプリント.

Horibe, K., Hatakeyama, M., Masumoto, G., Hashimoto, T., and Romero, P. (2026). Scale-dependent collective adaptation in self-amending LLM societies: a cross-family study of emergent governance. arXiv:2605.17510. プレプリント.

Fitz, S., Romero, P., Basart, S., Chen, S., and Hernández-Orallo, J. (2025). Psychometric personality shaping modulates capabilities and safety in language models. arXiv:2509.16332. プレプリント.

Romero, P., Fitz, S., and Nakatsuma, T. (2024). Do GPT language models suffer from split personality disorder? The advent of substrate-free psychometrics. arXiv:2408.07377. プレプリント.

Fitz, S., Romero, P., and Schneider, J. J. (2024). Hidden holes: topological aspects of language models. arXiv:2406.05798. プレプリント.

Izzidien, A., Fitz, S., Romero, P., Loe, B. S., and Stillwell, D. (2023). Developing a sentence-level fairness metric using word embeddings. International Journal of Digital Humanities, 5(2–3), 95–130.

Koch, T. K., Romero, P., and Stachl, C. (2022). Age and gender in language, emoji, and emoticon usage in instant messages. Computers in Human Behavior, 126, 106990.

Romero, P., and Fitz, S. (2021). The use of psychometrics and artificial intelligence in alternative finance. In The Palgrave Handbook of Technological Finance, 511–587.

Fitz, S., and Romero, P. (2021). Neural networks and deep learning: a paradigm shift in information processing, machine learning, and artificial intelligence. In The Palgrave Handbook of Technological Finance, 589–654.

教育

• ケンブリッジ・ジャッジ・ビジネススクールのエグゼクティブ・エデュケーションにて、 People Analytics: Transforming HR Strategy with Data Science を設計し、担当しています。
• ダルムシュタット工科大学 にて、アセスメント方法論。
• 慶應義塾大学 にて、データ構造、アルゴリズム、プログラミング。

ピープルアナリティクス

AI評価に重心を移す以前は、組織における測定——応用場面での心理測定、アセスメント設計、ピープルアナリティクス——に長く携わっていました。その内容は今もケンブリッジで教えており、助言をすることもあります。研究の中心ではなく、隣接する技、すなわち制度の中で人をどう測るか、として位置づけています。

残したい結びつきは方法論です。妥当性の論拠を欠いた得点は、ダッシュボード付きの数字にすぎないということを、組織の現場が教えてくれました。それはAI評価の問題でもあります。

略歴

ロメロ　ピーターは、バレンシア工科大学のバレンシア人工知能研究所（VRAIN）のAIサイエンティストであり、 José Hernández-Orallo とともにAIシステムの評価に取り組んでいます。ケンブリッジ大学心理測定センターの研究員、慶應義塾大学の客員研究員でもあります。

慶應義塾大学にてベイズ統計学の博士号、ケンブリッジ大学にて心理測定学のMPhil、ハンブルク大学にてDiplom-Psychologe（修士相当）を取得しています。現在の研究は、言語モデルとエージェンティックなシステムのための心理測定法です。人間の特性目録を既定として持ち込むのではなく、基質非依存の形で行動傾向を測り、その測定を早期警戒とルーティングに用いることです。 AgentGuard を提案し、採択を受け、マイクロソフトリサーチの Haotian Li とともに共同で率いています。今後は、自己調節し、自己改善し、自己進化する自律エージェントの評価に、さらに注力したいと考えています。応用ピープルアナリティクスにはより長い経歴があり、現在は副次的な活動です。

履歴書（PDF）