--- language: - ja tags: - pocchito - research - context-understanding - work-in-progress --- # Pocchito Context Model — research placeholder Updated: 2026-10-26. Maintainer: 株式会社レシートローラー. **This is a model-card draft, not a trained model release. No trained weights, model adapters, inference endpoint or demonstrated fine-tuning improvements are available.** **追加学習による重み更新・精度改善の実証は未実施です。合成入力の勾配計算は環境確認で、学習完了を意味しません。** 研究の進捗: https://pocchito.com/ja/research ## Purpose / 研究目的 日本語の依頼について、意図・条件・関連する記憶・確認方針を構造化する 小型言語モデルの研究。既存モデルへの追加学習を検討する。 ゼロから事前学習した独自基盤モデルという主張はしない。 本番の外部APIは継続し、研究モデルへの置換は未実施。 ## Intended and excluded uses / 用途と対象外 合成データを用いたオフラインの文脈理解評価を目的とする。 モデルの出力は外部操作の承認ではない。実行権限・所有者・接続状態などは アプリ側で再検証する。医療診断、心理・脳状態の断定、無承認の予約・購入・送信には使わない。 自然な返答文やスタンプ選択は別の評価対象。 ## Model and artifact identity / モデル識別 | 項目 | 状態 | |---|---| | Hugging Face account / organization | rcrla | | Public research placeholder | https://huggingface.co/rcrla/pocchito-context-model-research | | Trained-artifact repository / immutable revision | 未作成・未確定 | | Research base candidate / tokenizer revision | Qwen/Qwen3-1.7B / 70d244cc86ccca08cf5af4e1e306ecf908b1ad5e（未追加学習） | | Adapter / weights / SHA-256 | 未学習・なし | | Research candidate / parameter scale | Qwen3-1.7B。配布する学習済み成果物は未確定 | | Preparation runtime | ローカルfp16・LoRA構築を確認。本番配信は未実施 | 存在しないbase_model、library_name、pipeline_tag、license、性能結果を Hugging Faceメタデータに設定していない。選定・確認後に追加する。 ## Data / データ 評価候補 `pcm-candidates-v0.3` は合成400件、100 family、10分類。 各familyには元の依頼・丁寧表現・他所有者記憶・削除記憶の4条件がある。 400の独立シナリオではない。開発120・検証80・非公開評価候補160・回帰40。 作成者とは別のAIエージェント2体が各400件を、作成者の正解や相手の回答を 渡されずにラベル付けした。初回の回答集合は372/400件で一致し、相違28件を 裁定した。同じ判断構造の派生例を73の漏洩防止familyへまとめ、同一familyを 同じ分割へ配置し、AIによる再点検も実施した。これは人による確認ではなく、 同じシステムモデルのAI間で誤りが相関する可能性がある。盲検は手続き上のもので、 OSによる隔離や独立したファイルアクセス監査を保証しない。 一致率は注釈の一致であり、モデル精度ではない。正式な最終評価は未確定。 これらの候補は学習用データとは区別する。 合成の学習候補104件を別途作成・独立AIレビューしたが、学習投入の承認は未完了。実利用者の会話・メール・個人記憶を今回の研究に 使用していない。個人の記憶は訂正・削除可能な外部データに保ち、 モデルの重みへ埋め込むことを目指さない。 合成データはAIを利用した新規作成で、第三者の権利が一切存在しないことを保証するものではない。 基盤モデルや教師モデルを利用する段階で、出所・規約・配布条件を別途確認する。 非公開の最終評価本文・解答はHugging Faceへ同梱しない。 現在のローカル160件は作成者が見た作業用候補であり、封印済みの未見評価ではない。 ## Application memory architecture / アプリ側の記憶設計 2026-10-25時点で、短期の状態、確認済みの記憶、好み・価値観、継続ミッションを 分離して扱う実装を進めた。自由なカテゴリ・理由・適用条件、改訂の版、元発言の参照、 本人による訂正・忘却を保持し、今回の入力と検証済みの条件に関連する内容だけを 会話へ組み込む。未確認候補は長期の理解に使わず、確認後に保存する。 これはアプリと外部メモリの機能であり、研究モデルが学習して獲得した能力ではない。 動的な好み・価値観・ミッションも、専用の合成開発ケースで共通評価ランナーへ接続した。 追加した機能すべてを研究評価済みとは扱わない。 ## Training and reproducibility / 学習・再現性 未実施。実施時はbase / tokenizer / adapterの不変revision、コードcommit、 学習データmanifestと権利、分割と重複検査、学習範囲、seed、optimizer、 hyperparameters、依存関係、ハードウェア、量子化、成果物hashを記録する。 個人記憶を含むチェックポイントを作らない。 ## Evaluation / 評価 追加学習後の精度・レイテンシ・費用改善は未検証。既存基盤モデルによる既知データの予備推論実験と、正式な未見評価を区別する。 共通評価ランナーを構築し、現行の意図分類・記憶コンパイラーのアダプター、 検索状態・一時状態・出来事・価値観・確認来歴の入力Schemaを追加した。 本人確認・訂正・忘却API、意思決定Plan、カレンダー・メール専用経路、 一時状態Planと動的な好み・価値観・ミッションを、合成入力・テスト用providerとモデル応答の代替で連結検証した。 これらの検証はアプリ側の接続・境界・ライフサイクルを確かめるもので、 実モデルによる意味理解の正確さを測定していない。 保存済みの検証記録（2026-10-24、各拡張の当時のコード版）： | 対象 | 実行数 | 一致した検査数 | |---|---:|---:| | 本人確認・訂正・忘却API | 6/6 | 360/360 | | 意思決定Plan | 18/18 | 1,521/1,521 | | カレンダー専用経路 | 24/24 | 1,581/1,581 | | メール専用経路 | 24/24 | 1,593/1,593 | | 一時状態Plan | 24/24 | 1,449/1,449 | 各行は著者作成の開発用合成ケースの結果で、400件の盲検データとは別。 検査数はテスト内の条件確認の回数で、独立シナリオ数・モデルの正答数ではない。 外部API・本物のメール/カレンダー・通知配信はテスト用の代替を使用した。 当時の記録を最新コードで全件再実行したとの主張はしない。 2026-10-25には別の既存コンパイラー評価20シナリオ×3モードの60実行も行い、 合成条件のcompiler gateを通過した。これも学習済みモデルの性能評価ではない。 比較時は意図、記憶選択、条件保持、確認、未対応操作の扱いを測る。 原出力とアプリ保護後の結果を分け、失敗・timeout・保留を分母から除かない。 familyを標本単位として評価し、派生4件を独立観測とみなさない。 共通条件、モデルrevision、prompt、実行設定、試行回数、費用、限界を記録する。 本文にある件数・検査一致・CI時間は、データやアプリ検証の記録であり、モデル性能値ではない。 ## Dynamic understanding evaluation / 好み・価値観・ミッションの評価 2026-10-25、`pcm-understanding-v0.2` の著者作成の合成開発13ケースを各3反復し、 39/39実行・4,059/4,059検査が一致した。400件の盲検注釈候補とは別の評価である。 固定のモデル応答・分類器、TestServer、メモリ内SQLiteを使用し、外向きHTTPを遮断した。 有料API・実ユーザーデータ・本番DB・実際の外部操作は使用していない。 実会話APIから確認候補を作成し、本人確認・訂正・保存・検索・休止・完了・削除・忘却を通す。 変更前に要約と選択肢が存在することを確認し、変更後の新たな会話生成入力も検査する。 条件の一致・不足・不一致、所有者の分離、拒否操作による状態の非変更を含む。 検査数は条件照合の回数であり、独立した事例数やモデルの正答数ではない。 ### Independent AI code review / 別AIによる独立コードレビュー 作成担当とは別のAIエージェントがケース・期待値・実行経路・採点器を点検し、4点を修正した。 1. 親ミッションの適用範囲・条件を、関連する好みにも引き継ぐ本体の選択処理。 2. 採点の入口でも、不正日付や用途外フィールド等の意味的な入力検証を行う。 3. 拒否された更新の前後で、正規理解・候補・版・成長・会話の派生状態が同じことを検査する。 4. 訂正・忘却後に実会話APIを再実行し、生成入力への改訂値の反映と旧履歴の非混入を検査する。 親ミッションの条件不足時に関連好みだけが混入する反例は、別担当が再現した。 修正後の再レビューで4点の解消を確認し、追加の重大指摘はなかった。 これは合成開発ケースの独立AIコードレビューであり、今回の13ケースの盲検注釈、 人による審査、未見データや実モデルの品質評価ではない。 担当AIは契約テスト8件と反例を独立に確認したが、39実行全体を独立に再実行したわけではない。 ### Linux CI / 継続検証 コード版 `2d17401a01cc214370d2288857555b60ccb45192` でLinuxの両CIが成功した。 アプリ.NET760件、研究Python153件をスキップなしで検証した。 研究153件には上記39実行の連結検証を含む。研究Pythonは約4分22秒、 アプリ全体テストは約25分から約2分43秒へ短縮した。 主な改善はテストホストごとのRSA鍵生成を、プロセス内だけのテスト専用証明書へ置き換えたこと。 ホストごとのDB・認可は分離し、別ホストのトークンが拒否される回帰も追加した。 進捗ログを詳細化し、研究ジョブの上限も10分から20分へ調整した。 これはCIの実行時間で、モデルの応答速度・推論費用の測定ではない。 CLI集計のpacket SHA-256: `5676e04f33fdaec911f468c09460617f64fd31102952da5e8296657f2ac930e8`。 13ケースの結果とレビュー修正はコード版 `c034081b49409fd7dba4773f6cc51a84e86673d9` に対応する。 その後のCI版でテスト用認証設定を改訂し、全テストを再実行した。 生の評価本文・解答・私的ログはこのREADMEへ同梱しないため、カードだけで全検査は再現できない。 SQL Serverの競合、実機UI、実モデルによる意図理解・提案品質・費用はこの検証の対象外。 ## Training preparation update / 2026-10-26 学習前の準備 **追加学習による重み更新・学習済みモデルの公開・精度改善の実証は、まだ行っていません。** 今回公開するのは、学習候補のレビュー、評価データとの分離検査、ローカル環境と正式評価の準備です。 ## 学習候補104件を、別のAIが点検 評価用データとは別に、初動の意図分類13ラベルを対象とした合成の学習候補104件を作成しました。 実利用者の会話・メール・個人記憶、外部の教師API出力は使用していません。 作成者は過去の開発結果を知っており、完全に独立したデータ作成とは扱いません。 作成者とは別のAIエージェントが104件すべてをレビューし、修正版も再確認しました。 相談を曖昧な操作依頼としたラベル1件、予定登録の文脈1件、不自然な表現7件を修正。 分割をまたぐ3組の判断パターンは、関連する場面ごと同じ側へまとめました。 元版を保存し、修正版v0.2は48場面・39意味グループ、学習候補92件・調整候補12件になりました。 件数を均等に戻すための補充はしていません。 これは独立したAIによるレビューで、人による確認や盲検ラベル付けではありません。 12件の調整候補はレビュー済みで全13ラベルを網羅せず、全分類のモデル選択や未見性能評価には不足しています。 候補はまだ学習投入の承認済みデータではありません。 ## 近似警告は、消さずに扱いを記録 既存の保護対象300ファイルから抽出したテキストに対し、最新の発言だけでなく補助会話文も照合。 近似警告1件は、既に公開・使用済みの診断データにある開始時刻の質問との類似でした。 文章の書き換えや除外で警告を消さず、その診断データを既知で重なりのある参考値として扱う方針を記録しました。 最良の一致だけでなく全組合せを再検査し、元の評価400件の各分割では規定の文字列検査による完全一致・近似一致は0件。 元データと分割のハッシュは変更していません。正規化はNFKC・小文字化・空白/句読点除去、 12文字以上でSequenceMatcher比率0.82以上または文字4-gram Jaccard 0.5以上を近似とする条件です。 **文字列検査と学習候補内の意味レビューは、評価データとの意味的独立性の証明ではありません。** ## 小型モデルを動かす準備 Qwen3-1.7Bの固定版をローカル環境で使用し、LoRA rank 8 / alpha 16をq_proj・v_projへ組み込みました。 候補の固定revisionは `70d244cc86ccca08cf5af4e1e306ecf908b1ad5e`。 基盤のApache-2.0 LICENSE本文のハッシュを確認しています。将来の成果物の配布条件は別途確認します。 学習候補と調整候補を別々に変換し、入力は621～665トークン、切り捨ては0。 RTX 3060 8GBで、学習・評価本文とは別の合成環境確認文を使い、1,536トークンのforward/backwardを1回確認しました。 lossと追加部分の勾配は有限で、基盤重みは凍結。ピークのGPU割当メモリは約6.45GBでした。 optimizerの作成・更新step・重み保存は0です。勾配計算は重み更新ではなく、 optimizer状態を含む全学習のメモリ適合性・安定性・品質はまだ検証していません。 ## 正式評価を先に整える 現行方式（GPT-6 Luna）、外部API候補（Claude Sonnet 5.5）、小型候補（Qwen3-1.7B）の3方式を比較対象に選びました。 これは比較対象の選定であり、3方式の正式な実測比較や本番採用の結果ではありません。 既存基盤モデルによる既知データの予備推論実験はありますが、追加学習の成果や独立した未見評価とは区別します。 クラウド上に空の保管基盤を用意しましたが、独立管理者はアサイン待ちです。 未見160件の作成・レビュー・投入・封印、実際の権限分離、内部からの読み書きと監査ログ到達の確認は未完了。 担当者のアサインまで正式評価と追加学習は保留し、管理者向け手順書、合成接続検証ツール、 評価プロトコルと合格基準案、費用管理の準備を進める計画です。 正式な評価条件を満たしてから追加学習へ進み、改善しなかった結果も記録します。 公開するのは集計・手法・限界で、評価本文・正解・私的ログ・認証情報・保管環境の詳細・モデル重みは含めません。 研究ページ：https://pocchito.com/ja/research モデルカード：https://huggingface.co/rcrla/pocchito-context-model-research ## Limitations / 限界 人によるラベル確認、開発担当が未見の最終評価セット、学習候補と評価データの 意味的な独立性の確認は未完了。文字列照合は以下の2026-10-26の記録を参照。構造重複の整理・再点検は完了したが、意味的重複が 存在しないことの証明ではない。会話構造の偏り、自然な言い換えの不足も残る。 合成例の結果から実ユーザーでの品質・安全性を一般化しない。 現在は配布可能な学習済みモデルも再現可能な学習結果もない。 ## Licensing and distribution / 権利・配布 基盤モデル、tokenizer、adapter、学習データ、評価データ、コード、 カード本文を分けて確認する。商用利用・改変・再配布の条件は未審査。 この雛形を置くことで、将来のモデルやデータの利用許諾を与えるものではない。 アクセストークン・認証情報・個人情報をカードやリポジトリへ入れない。 最初の研究用モデル保管先は非公開を基本とする。 公開の進捗説明と非公開のモデル保管先は別管理。 外部公開は公開範囲と権利確認、モデルカードの改訂後に行う。 ## Progress and next steps / 進捗と次の検証 現在は、評価基盤・合成連結検証に加え、学習候補の独立AIレビューとローカル環境確認まで進んだ。 研究候補の固定版LICENSEを検証したが、成果物の配布審査や正式比較・追加学習・未見評価・本番採用は未完了。 公開用の集計と実装の区別: https://pocchito.com/research/progress-2026-10-25.md 研究の進捗ページ: https://pocchito.com/ja/research Hubへ公開するのはこのREADMEだけ。評価本文・解答、実ユーザーデータ、 認証情報、未審査の重みは同梱しない。