{ "created_at": "2026-05-20 16:53:43", "title": "customer_lookup_regression_v1", "judgment": "OK", "all_ok": true, "bad_cases": [], "warn_cases": [], "slow_cases": [], "forbidden_customer_cases": [ "myeongcheol_short", "myeongcheol_alias", "jang_myeongcheol", "seo_hyeonwoo" ], "results": { "myeongcheol_short": { "label": "myeongcheol_short", "query": "명철 조회", "ok": true, "expected_missing": false, "elapsed_ms": 3568, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": true, "selected_customer": false, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": true, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": false, "decision_contract_forbidden_tools": [ "worklog", "customer", "payment" ], "decision_contract_forbidden_customer": true, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "고객 조회 보고서 / / 고객 정보 / - 장명철 형님 · 010-5823-1300 · 개인 / / 요약 / - 현장에 연결된 견적 금액: 10만원 / - 현장에 연결된 입금: 10만원 / 1건 / - 아직 현장 연결이 필요한 입금: 10만원 / 1건 / / 견적/공사 금액 / - #10081 / 주택 계량기 이설 / 10만원 / / 입금 현황 / - 현장에 연결된 입금은 10만원입니다. / - 아래 입금은 이름이나 메모로 잡혔지만 어느 현장 돈인지 아직 연결이 필요합니다. / / 현장 연결이 필요한 입금 / - #300 / 10만원 / 2026-03-21 / 현장: 주택 계끼 이설건 입금 → 현장 연결 필요 / / 다음 조치 / - 입금이 실제 어느 현장 돈인지 확인한 뒤 맞는 현장에 연결하면 됩니다." }, "myeongcheol_alias": { "label": "myeongcheol_alias", "query": "명철이형 조회", "ok": true, "expected_missing": false, "elapsed_ms": 4980, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": true, "selected_customer": false, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": true, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": false, "decision_contract_forbidden_tools": [ "worklog", "customer", "payment" ], "decision_contract_forbidden_customer": true, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "요약 / - 현장에 연결된 견적 금액: 0원 / - 현장에 연결된 입금: 0원 / 0건 / / 입금 현황 / - 현장에 연결된 입금은 0원입니다. / - 현장 기준으로 남은 금액은 0원입니다. / / 다음 조치 / - 연결된 입금이 부족하면 고객에게 입금 여부를 확인해야 합니다." }, "jang_myeongcheol": { "label": "jang_myeongcheol", "query": "장명철 조회", "ok": true, "expected_missing": false, "elapsed_ms": 4110, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": true, "selected_customer": false, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": true, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": false, "decision_contract_forbidden_tools": [ "worklog", "customer", "payment" ], "decision_contract_forbidden_customer": true, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "고객 조회 보고서 / / 고객 정보 / - 장명철 형님 · 010-5823-1300 · 개인 / / 요약 / - 현장에 연결된 견적 금액: 10만원 / - 현장에 연결된 입금: 10만원 / 1건 / - 아직 현장 연결이 필요한 입금: 10만원 / 1건 / / 견적/공사 금액 / - #10081 / 주택 계량기 이설 / 10만원 / / 입금 현황 / - 현장에 연결된 입금은 10만원입니다. / - 아래 입금은 이름이나 메모로 잡혔지만 어느 현장 돈인지 아직 연결이 필요합니다. / / 현장 연결이 필요한 입금 / - #300 / 10만원 / 2026-03-21 / 현장: 주택 계끼 이설건 입금 → 현장 연결 필요 / / 다음 조치 / - 입금이 실제 어느 현장 돈인지 확인한 뒤 맞는 현장에 연결하면 됩니다." }, "myeongin_env": { "label": "myeongin_env", "query": "명인환경 조회", "ok": true, "expected_missing": false, "elapsed_ms": 1338, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": false, "selected_customer": true, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": false, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": false, "decision_contract_forbidden_tools": [ "chat" ], "decision_contract_forbidden_customer": false, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "🏢 고객 정보 / 👥 명인환경 김재현 | 회사: 명인환경 | 대표자: 김재현 | 📞 01087546953 (신규) / 💰 매출/입금 합계: 1,150,000원 (2건) / 📌 최근 입금/매출 / - 2026-05-08 50,000원 [income] / 명인환경 5만원 입금 / - 2026-01-09 1,100,000원 [balance] / 내용: 명인환경 전원반 ５라인 신설 / 📄 견적/수주 합계: 800,000원 (2건) / 🧾 최근 견적/수주 / - 2025-12-14 상하수도 사업소 및 구림 사업소 유도등신설 400,000원 [수주완료] / - 2025-11-28 완도 청소년 수련관 투광기 8 라인 신설 400,000원 [수주완료]" }, "seo_hyeonwoo": { "label": "seo_hyeonwoo", "query": "서현우 조회", "ok": true, "expected_missing": false, "elapsed_ms": 3238, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": true, "selected_customer": false, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": true, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": false, "decision_contract_forbidden_tools": [ "worklog", "customer", "payment" ], "decision_contract_forbidden_customer": true, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "고객 조회 보고서 / / 고객 정보 / - 서현우 / 오렌지수산 · 010-5379-5212 · 사업자 / / 요약 / - 현장에 연결된 견적 금액: 20만원 / - 현장에 연결된 입금: 0원 / 0건 / - 아직 현장 연결이 필요한 입금: 34만원 / 1건 / - 이름으로 찾아낸 입금: 약 34만원 / 1건 / / 견적/공사 금액 / - #10038 / 서현우 코아루 자가 내 팬트리 전열시공 / 20만원 / / 입금 현황 / - 현장에 연결된 입금은 0원입니다. / - 아래 입금은 이름이나 메모로 잡혔지만 어느 현장 돈인지 아직 연결이 필요합니다. / / 현장 연결이 필요한 입금 / - #31 / 34만원 / 2025-11-03 / 서현우 오렌지 세차 엠프 엠프값 포함 → 현장 연결 필요 / / 이름으로 찾아낸 입금 / - #31 / 34만원 / 2025-11-03 / 서현우 오렌지 세차 엠프 엠프값 포함 / / 다음 조치 / - 입금이 실제 어느 현장 돈인지 확인한 뒤 맞는 현장에 연결하면 됩니다." }, "missing_customer": { "label": "missing_customer", "query": "없는고객 조회", "ok": true, "expected_missing": true, "elapsed_ms": 3351, "speed_status": "OK", "json_ok": true, "http_status": 200, "selected_person_context": false, "selected_customer": true, "selected_payment": false, "selected_worklog": false, "selected_history_memo": false, "customer_context_orchestrator": false, "lookup_backend_ok": true, "has_domain_result": true, "missing_response_ok": true, "decision_contract_forbidden_tools": [ "chat" ], "decision_contract_forbidden_customer": false, "checks": { "json_ok": true, "selected_person_context_or_customer": true, "not_polluted_by_payment_worklog_history_memo": true, "customer_context_orchestrator_or_customer_tool": true, "existing_customer_has_domain_result": true, "missing_customer_response_ok": true }, "answer_preview": "🏢 고객 정보를 찾을 수 없습니다. / - 검색어: 없는고객" } } }