# Pocchito Context Model：研究・実装の進捗

更新日：2026年10月25日 / 運営：株式会社レシートローラー

現段階は、合成評価候補のAI注釈整備・共通評価基盤の構築・本番部品との連結検証。
学習済みモデル、追加学習済みadapter、モデル性能の実測結果はまだありません。

## 1. 評価候補の整備

`pcm-candidates-v0.3`：合成400件、100場面family、10分類。
各場面には4条件があり、400の独立した場面ではありません。
同じ判断構造の派生例を73の漏洩防止familyへまとめ、同じグループを同じ分割へ配置しました。
開発120件・検証80件・非公開候補160件・回帰40件。

作成者とは別のAIエージェント2体が、作成者の正解・他方の回答を渡されずに各400件を注釈。
初回の回答集合は372/400件で一致し、相違28件を裁定しました。
構造の再点検も実施しましたが、意味的重複が存在しないことの証明ではありません。

一致率は注釈の一致であり、モデル精度ではありません。人による確認は未実施。
同じシステムモデルを使うAI間では誤りが相関する可能性があります。
盲検は手続き上のもので、OSによる隔離や独立したアクセス監査は保証しません。
非公開候補160件も作成者・AI担当が参照した作業用データで、封印済みの未見評価ではありません。

## 2. 共通ランナーと実装との接続

入力packet・モデル出力・採点を分離し、データ・設定・結果のhashを記録する共通評価ランナーを構築。
意図分類と記憶コンパイラーを連結し、検索状態・一時状態・出来事・価値観・確認済み来歴の入力を拡張しました。
実装の専用経路を合成ケースで動かす検証も追加しています。

以下は2026年10月24日に保存した、各拡張の当時のコード版による記録です。

| 対象 | 成功した実行数 | 一致した検査数 |
| --- | ---: | ---: |
| 本人確認・訂正・忘却API | 6/6 | 360/360 |
| 意思決定Plan | 18/18 | 1,521/1,521 |
| カレンダー専用経路 | 24/24 | 1,581/1,581 |
| メール専用経路 | 24/24 | 1,593/1,593 |
| 一時状態Plan | 24/24 | 1,449/1,449 |

各行は著者作成の開発用合成ケースで、400件の盲検注釈データとは別です。
検査数はプログラム内の条件確認の回数で、モデルの正答数や独立標本数ではありません。
テスト用provider・モデル応答の代替・メモリ内DBを使用し、外向き通信を遮断しています。
実メール、カレンダー、LINE配信、OpenAI、GPU、本番DBを使った評価ではありません。
当時の記録を最新コードで全件再実行したとの主張はしません。

2026年10月25日には、別の既存コンパイラー評価20シナリオ×3モード（recent-only / summary / v2）、
計60実行を行い、合成条件のcompiler gateを通過しました。
これは400件のモデル比較ではなく、実モデルの正答率・遅延・費用の測定でもありません。

## 3. アプリ側で進めたこと

一時状態と長期の理解を分離し、本人確認済みの記憶・好み・価値観・継続ミッションを扱います。
自由カテゴリ、理由、適用範囲・条件、改訂、元発言の参照、訂正・忘却を保持します。
関連する内容だけを今回の会話に組み込み、未確認候補を長期理解には使いません。
ミッションを保存しても、外部の予約・購入・予定・通知は自動実行しません。

これらはアプリと外部メモリの機能です。研究モデルが学習して獲得した能力ではありません。
動的な好み・価値観・ミッションも、共通評価ランナーへ接続しました。
すべてのアプリ機能を研究評価済みとは扱いません。

## 4. 今回の評価・独立レビュー・CI

2026-10-25、`pcm-understanding-v0.2` の著者作成の合成開発13ケースを各3反復し、
39/39実行・4,059/4,059検査が一致した。400件の盲検注釈候補とは別の評価である。
固定のモデル応答・分類器、TestServer、メモリ内SQLiteを使用し、外向きHTTPを遮断した。
有料API・実ユーザーデータ・本番DB・実際の外部操作は使用していない。

実会話APIから確認候補を作成し、本人確認・訂正・保存・検索・休止・完了・削除・忘却を通す。
変更前に要約と選択肢が存在することを確認し、変更後の新たな会話生成入力も検査する。
条件の一致・不足・不一致、所有者の分離、拒否操作による状態の非変更を含む。
検査数は条件照合の回数であり、独立した事例数やモデルの正答数ではない。

### 別AIによる独立コードレビュー

作成担当とは別のAIエージェントがケース・期待値・実行経路・採点器を点検し、4点を修正した。

1. 親ミッションの適用範囲・条件を、関連する好みにも引き継ぐ本体の選択処理。
2. 採点の入口でも、不正日付や用途外フィールド等の意味的な入力検証を行う。
3. 拒否された更新の前後で、正規理解・候補・版・成長・会話の派生状態が同じことを検査する。
4. 訂正・忘却後に実会話APIを再実行し、生成入力への改訂値の反映と旧履歴の非混入を検査する。

親ミッションの条件不足時に関連好みだけが混入する反例は、別担当が再現した。
修正後の再レビューで4点の解消を確認し、追加の重大指摘はなかった。
これは合成開発ケースの独立AIコードレビューであり、今回の13ケースの盲検注釈、
人による審査、未見データや実モデルの品質評価ではない。
担当AIは契約テスト8件と反例を独立に確認したが、39実行全体を独立に再実行したわけではない。

### Linux CIによる継続検証

コード版 `2d17401a01cc214370d2288857555b60ccb45192` でLinuxの両CIが成功した。
アプリ.NET760件、研究Python153件をスキップなしで検証した。
研究153件には上記39実行の連結検証を含む。研究Pythonは約4分22秒、
アプリ全体テストは約25分から約2分43秒へ短縮した。
主な改善はテストホストごとのRSA鍵生成を、プロセス内だけのテスト専用証明書へ置き換えたこと。
ホストごとのDB・認可は分離し、別ホストのトークンが拒否される回帰も追加した。
進捗ログを詳細化し、研究ジョブの上限も10分から20分へ調整した。
これはCIの実行時間で、モデルの応答速度・推論費用の測定ではない。

CLI集計のpacket SHA-256: `5676e04f33fdaec911f468c09460617f64fd31102952da5e8296657f2ac930e8`。
13ケースの結果とレビュー修正はコード版 `c034081b49409fd7dba4773f6cc51a84e86673d9` に対応する。
その後のCI版でテスト用認証設定を改訂し、全テストを再実行した。
生の評価本文・解答・私的ログは公開しないため、この公開集計だけで全検査は再現できません。
SQL Serverの競合、実機UI、実モデルによる意図理解・提案品質・費用はこの検証の対象外。

## 5. 残る検証

- 人による注釈確認、別管理者のアクセス制限下での新しい未見評価セット。
- 基盤モデルの選定・利用条件確認、学習用コーパスと評価セットの重複確認。
- 共通条件による実モデル比較、必要に応じた追加学習。
- 動的理解・ミッションの境界ケースの追加と、SQL Server競合・実機UIの別評価。
- モデル原出力とアプリの保護後の結果を分けた評価。
- 精度・確認の適切さ・遅延・費用・本番に影響しない並行比較。

実利用者の会話・メール・個人の記憶は、今回の研究・学習データに使用していません。
今回公開するのは説明・集計・hashのみで、評価本文・解答・私的ログ・認証情報・モデル重みは含みません。
合成ケースの成功から、実ユーザーでの品質や安全性を一般化しません。

## 6. 記録の版

- 前回公開時のアプリ側実装の参照commit：`b762d9e8083bf5cb5b5295619326cbefbfa418e2`。
- 合成400候補の確定作業版SHA-256：`d4943572b6cdc1a70aa91f9ed32a8e0c891660a24e5f66f1f248fcae961e3e05`。
- この公開集計は内部の版付き記録に基づきます。評価本文・解答を公開していないため、このページだけで全検査を再現できるわけではありません。

研究ページ：https://pocchito.com/ja/research
モデルカード：https://huggingface.co/rcrla/pocchito-context-model-research