Back to standard

AIFC-063: Auditability

Status: Draft 0.1 Standard: AI-First Community Standard Zkráceně: AIFC Navazuje na:

Účel dokumentu: Definovat Auditability jako schopnost komunity zpětně dohledat, vysvětlit a ověřit významné akce lidí, AI agentů, systémů, dodavatelů a komunit nad knowledge base, source of truth, Operational DNA, AI workflow, rozhodnutími, přístupy, exporty a změnami. Auditability chrání důvěru, odpovědnost, bezpečnost, governance a schopnost učení.


1. Purpose of this document

Tento dokument definuje Auditability.

AIFC komunita pracuje s lidmi, AI agenty, systémy, nástroji, dodavateli a knowledge base.

Tito aktéři mohou:

Auditability znamená, že komunita dokáže zpětně zjistit:

Bez auditability se AI-first komunita stává neprůhledným systémem.


2. Core principle

Základní princip tohoto dokumentu je:

Critical actions must be traceable, explainable and reviewable.

Česky:

Kritické akce musí být dohledatelné, vysvětlitelné a reviewovatelné.

AIFC říká:

No invisible authority.
No untraceable AI action.
No critical change without evidence.

Česky:

Žádná neviditelná autorita.
Žádná nedohledatelná AI akce.
Žádná kritická změna bez důkazu.

Auditability není byrokracie.

Je to ochrana důvěry a schopnosti komunity pochopit vlastní provoz.


3. Definition

Auditability je schopnost zaznamenat, dohledat, vysvětlit a ověřit významné akce, rozhodnutí, přístupy, změny a AI interakce v komunitě.

Auditability se vztahuje na:

Minimum requirement

Významné akce nad restricted knowledge, Operational DNA, AI governance, source of truth nebo rozhodnutími musí být auditovatelné.


4. Why Auditability matters

Auditability je důležitá, protože bez ní komunita neví, co se skutečně stalo.

Bez auditability nelze spolehlivě odpovědět:

Auditability umožňuje:

Minimum requirement

AIFC komunita musí chápat auditability jako základ důvěryhodného AI-first provozu.


5. Auditability vs logging

Logging a auditability nejsou totéž.

Logging znamená, že systém něco zaznamenává.

Auditability znamená, že záznamy jsou použitelné pro pochopení a ověření významných akcí.

Špatný log:

Action executed successfully.

Lepší auditní záznam:

Knowledge Maintenance Agent created draft change proposal CP-123 from observed signal OS-456 using approved internal documents D-12 and D-18. No restricted data used. Owner review required before write-back to active source of truth.

Auditability vyžaduje význam, kontext a dohledatelnost.

Minimum requirement

Auditní záznamy kritických akcí musí být srozumitelné a použitelné pro review, ne pouze technicky existující.


6. What must be auditable

AIFC doporučuje auditovat přiměřeně riziku tyto oblasti:

access
AI processing
agent actions
source of truth changes
approvals
decisions
exports
classification changes
AI-NDA Boundary changes
agent permissions changes
operating mode changes
budget exceptions
incidents
fallback activations
Operational DNA access

Ne každá drobná akce musí mít stejnou úroveň auditu.

Ale kritické akce musí být dohledatelné.

Minimum requirement

Komunita musí definovat, které typy akcí vyžadují audit podle klasifikace a dopadu.


7. Audit subject

Audit subject je aktér, který provedl akci.

Může to být:

Audit musí rozlišit, zda akci provedl člověk, AI nebo systém.

Pokud AI jednala na základě lidského pověření, audit musí ukázat i ownera nebo schvalovatele.

Minimum requirement

Kritický auditní záznam musí identifikovat aktéra a jeho typ.


8. Audit action

Audit action popisuje, co se stalo.

Příklady:

Akce musí být dostatečně konkrétní.

Minimum requirement

Auditní záznam kritické akce musí uvádět typ akce.


9. Audit object

Audit object je artefakt nebo systém, kterého se akce týká.

Může to být:

Minimum requirement

Auditní záznam kritické akce musí identifikovat dotčený objekt nebo rozsah objektů.


10. Audit purpose

Audit purpose říká, proč byla akce provedena.

Příklad:

Purpose je důležitý, protože stejný přístup může být oprávněný v jednom kontextu a neoprávněný v jiném.

Minimum requirement

Přístup k restricted knowledge, Operational DNA, AI processing a export musí mít auditovatelný purpose.


11. Audit permission basis

Audit musí být schopný ukázat, na základě čeho byla akce povolena.

Permission basis může být:

Minimum requirement

Kritická akce musí být dohledatelná k permission basis nebo approval.


12. Audit approval

U akcí vyžadujících schválení musí audit zaznamenat:

Minimum requirement

Schválení kritických akcí musí být auditovatelné.


13. Audit data classification

Audit musí zaznamenat klasifikaci dotčených dat nebo artefaktů.

Například:

public
internal
restricted
operational_dna

Pokud AI vytvoří derived knowledge, audit by měl zaznamenat jeho klasifikaci nebo potřebu klasifikace.

Minimum requirement

Akce nad restricted knowledge nebo Operational DNA musí auditovat datovou klasifikaci.


14. Audit AI processing

AI processing audit zaznamenává použití AI nad knowledge artefakty.

Měl by obsahovat:

Minimum requirement

AI zpracování neveřejného know-how musí být auditovatelné přiměřeně citlivosti.


15. Audit prompts and outputs

U kritických AI workflow může být potřeba auditovat prompts and outputs.

To neznamená vždy ukládat celý prompt a výstup navždy.

Je třeba posoudit:

Možnosti:

Minimum requirement

Kritická AI workflow musí mít definovanou prompt/output audit policy.


16. Audit agent actions

Agent action audit zaznamenává, co AI agent udělal.

Měl by obsahovat:

Minimum requirement

Autonomní nebo tool-using agenti musí mít auditní stopu přiměřenou riziku.


17. Audit source of truth changes

Source of truth changes jsou kritické.

Audit musí ukázat:

Minimum requirement

Kritické source of truth změny musí mít change history a rollback path.


18. Audit decision records

Decision records musí být auditovatelné, protože drží odpovědnost.

Audit musí ukázat:

Minimum requirement

Kritická rozhodnutí musí mít decision record s auditovatelným reasoningem.


19. Audit access changes

Access changes musí být auditovatelné.

To zahrnuje:

Minimum requirement

Změny přístupu ke restricted knowledge, Operational DNA nebo AI processing musí být auditovatelné.


20. Audit exports

Export je vysoce riziková akce.

Audit exportu musí zaznamenat:

Minimum requirement

Export restricted knowledge nebo Operational DNA musí mít auditní záznam.


21. Audit operating mode changes

AI Operating Mode změny mohou zásadně změnit chování systému.

Audit musí zaznamenat:

Minimum requirement

Významné změny AI Operating Mode musí být auditovatelné.


22. Audit autonomy and permissions changes

Změna autonomy nebo agent permissions může zvýšit riziko.

Audit musí zaznamenat:

Minimum requirement

Zvýšení AI autonomy nebo rozšíření agent permissions musí být auditovatelné.


23. Audit budget exceptions

AI budget exceptions mohou odhalit riziko cost growth nebo mission pressure.

Audit musí zaznamenat:

Minimum requirement

Překročení nebo výjimka z významného AI budgetu musí být auditovatelná.


24. Audit incidents

Knowledge security, AI governance, access, agent, boundary nebo lock-in incidents musí být auditovatelné.

Audit musí podporovat:

Minimum requirement

Významné incidents musí mít audit trail a post-incident review.


25. Audit fallback and recovery

Fallback a recovery akce musí být auditovatelné.

Důležité je vědět:

Minimum requirement

Aktivace fallbacku u kritického workflow musí být auditovatelná.


26. Audit lineage

Lineage ukazuje původ výstupu nebo artefaktu.

U AI-first knowledge je důležité vědět:

Minimum requirement

Kritické AI-generated artefakty musí mít základní lineage.


27. Audit retention

Audit logs musí být uchovávány přiměřeně.

Retention závisí na:

Audit logs mohou obsahovat citlivá data.

Musí být chráněny.

Minimum requirement

Audit logs kritických akcí musí mít retention a protection rules.


28. Audit log security

Audit log je citlivý artefakt.

Může odhalit:

Audit logs musí být chráněné proti:

Minimum requirement

Audit logs musí mít access control, integrity protection a klasifikaci přiměřenou citlivosti.


29. Tamper resistance

Audit ztrácí hodnotu, pokud jej lze snadno upravit.

Tamper resistance může zahrnovat:

Ne každá komunita potřebuje stejnou technickou úroveň.

Ale kritické oblasti potřebují ochranu integrity.

Minimum requirement

Auditní záznamy kritických akcí musí být chráněné proti neautorizované změně nebo smazání.


30. Human-readable audit

Audit nesmí být čitelný jen technikům.

Human-readable audit pomáhá ownerům, reviewerům a governance rolím pochopit:

AI-first audit by měl být dostupný přes Human Cockpit Layer ve srozumitelných pohledech.

Minimum requirement

Odpovědné role musí mít lidsky srozumitelný přístup k auditním informacím kritických oblastí.


31. Agent-readable audit

Audit by měl být použitelný i pro AI governance agenty.

AI může pomoci:

Ale AI přístup k audit logs musí respektovat klasifikaci a boundary.

Minimum requirement

AI přístup k audit logs musí být explicitně řízený a omezený podle citlivosti.


32. Software-verifiable audit

Některé auditní požadavky musí být software-verifiable.

Například:

Minimum requirement

Opakovatelné kritické auditní kontroly by měly být převedeny na validation rules, pokud je to praktické.


33. Audit and AI Retrospective

Audit je vstup pro AI Retrospective.

Pomáhá odpovědět:

Minimum requirement

AI Retrospective musí mít přístup k relevantním auditním vstupům přiměřeně scope a citlivosti.


34. Audit and Compliance

Auditability podporuje compliance, ale není pouze compliance.

Compliance se ptá:

Dodrželi jsme požadavek?

AIFC auditability se ptá také:

Rozumíme tomu, co se stalo?
Umíme se z toho poučit?
Umíme to vysvětlit?
Umíme to opravit?

Minimum requirement

Compliance audit by měl být doplněn o learning and governance audit u kritických AI-first oblastí.


35. Audit and accountability

Auditability podporuje odpovědnost.

Ale audit nemá sloužit k hledání viníka jako první reakce.

Má umožnit:

Minimum requirement

AIFC auditability musí podporovat systémové učení i odpovědnost.


36. Audit levels

AIFC může rozlišovat úrovně auditu.

Level 0 — No audit required

Nízkorizikové public nebo ad hoc aktivity.

Level 1 — Basic activity audit

Základní záznam akce, aktéra a času.

Level 2 — Contextual audit

Záznam obsahuje purpose, object, classification and permission basis.

Level 3 — Governance audit

Záznam obsahuje approval, decision context, AI involvement, lineage and review.

Level 4 — Critical audit

Tamper-resistant, detailed, retained and reviewable audit for Operational DNA, restricted AI processing, critical decisions and high-risk agent actions.

Minimum requirement

Komunita musí definovat audit level podle rizika, klasifikace a dopadu.


37. Audit scope

Audit scope musí být jasný.

Příliš úzký audit nechá mezery.

Příliš široký audit může vytvořit privacy, cost nebo attention problém.

Scope se má řídit:

Minimum requirement

Audit scope musí být přiměřený riziku a nesmí ignorovat kritické AI a knowledge actions.


38. Audit privacy

Audit může obsahovat osobní a citlivé údaje.

Musí respektovat:

Auditability nesmí být záminkou pro neomezené sledování lidí.

Minimum requirement

Audit musí vyvažovat traceability, privacy and trust.


39. Audit and vendors

Vendor actions musí být auditovatelné přiměřeně riziku.

U AI vendorů a externích expertů je důležité auditovat:

Minimum requirement

Vendor access k restricted knowledge nebo Operational DNA musí mít auditovatelný scope, purpose and activity.


40. Audit and exit strategy

Audit podporuje exit strategy.

Bez auditů komunita nemusí vědět:

Minimum requirement

Kritická AI exit strategy musí zohlednit audit records potřebné pro bezpečný exit.


41. Audit and Human Cockpit Layer

Human Cockpit Layer může zobrazovat audit informace v přehledné podobě.

Může ukazovat:

Cockpit nemá zahlcovat.

Má zviditelnit podstatné.

Minimum requirement

Human Cockpit Layer nebo governance rozhraní musí zviditelnit kritické auditní signály odpovědným rolím.


42. AI role in Auditability

AI může pomoci s auditem.

Může:

AI však nesmí sama uzavřít kritický audit bez lidské nebo komunitní odpovědnosti.

Minimum requirement

AI-generated audit analysis musí být označená jako podklad nebo návrh a reviewovaná odpovědnou rolí.


43. Suggested metadata

Příklad metadat pro audit event:

audit_event:
  id:
  timestamp:
  actor_id:
  actor_type: human | ai_agent | system | vendor | community | service_account
  actor_owner:
  action:
  object_type:
  object_id:
  object_classification:
  purpose:
  permission_basis:
  approval_id:
  ai_involved: true | false
  ai_tool:
  ai_model:
  agent_id:
  agent_permissions_id:
  operating_mode:
  autonomy_level:
  input_references:
  output_references:
  derived_knowledge_created: true | false
  export_performed: true | false
  external_sharing_performed: true | false
  result: success | failure | partial | blocked | escalated
  risk_level: low | medium | high | critical
  audit_level: 0 | 1 | 2 | 3 | 4
  retention_rule:

Příklad metadat pro audit policy:

audit_policy:
  id:
  title:
  status: draft | active | under_review | deprecated | archived
  owner:
  scope:
  applies_to:
    - access
    - ai_processing
    - agent_actions
    - source_of_truth_changes
    - approvals
    - decisions
    - exports
    - operating_mode_changes
    - incidents
  required_audit_level:
  prompt_output_logging:
    mode: full | redacted | metadata_only | hash_reference | none_with_controls
  retention_rule:
  log_access_rules:
  tamper_resistance_required: true | false
  human_review_required: true | false
  ai_analysis_allowed: true | false
  review_cycle:
  last_reviewed:

Příklad metadat pro audit finding:

audit_finding:
  id:
  title:
  status: observed | triaged | under_review | accepted | rejected | resolved | closed
  owner:
  finding_type:
    - missing_audit
    - unauthorized_action
    - insufficient_permission_basis
    - missing_approval
    - agent_scope_drift
    - ai_boundary_issue
    - export_issue
    - classification_issue
    - retention_issue
    - suspicious_pattern
  related_audit_events:
  affected_artefacts:
  affected_communities:
  severity: low | medium | high | critical
  proposed_action:
  related_change_proposal:
  created_at:
  closed_at:

Tyto struktury jsou ilustrativní.

Finální schéma má být definováno v agent-actionable vrstvě standardu.


44. Anti-patterns

AIFC odmítá následující anti-patterny.

44.1 Logs without meaning

Systém loguje technické události, ale z logů nelze pochopit governance význam.

44.2 AI action without trace

Agent provede akci, ale není dohledatelné proč a s jakým oprávněním.

44.3 Critical change without decision record

Kritická změna source of truth nebo governance nemá rozhodovací záznam.

44.4 Approval without evidence

Schválení existuje, ale není jasné, co bylo schváleno a proč.

44.5 Export without audit

Knowledge base nebo Operational DNA jsou exportovány bez záznamu.

44.6 Prompt/output black box

Kritické AI workflow nemá žádnou politiku auditování promptů a výstupů.

44.7 Audit logs exposed

Audit logy jsou dostupné příliš široce a samy odhalují citlivé know-how.

44.8 Audit logs editable by actors

Aktéři mohou upravit nebo smazat vlastní auditní stopu.

44.9 Audit only for compliance

Audit se používá jen pro formální compliance, ne pro učení a governance.

44.10 AI audits itself

AI sama uzavře audit vlastního kritického chování bez lidského review.

44.11 No retention rules

Audit logs se buď mažou příliš brzy, nebo drží navždy bez důvodu.

44.12 No audit of permission changes

Změny oprávnění jsou méně auditované než samotné akce, i když mohou být rizikovější.


45. Minimal requirements

AIFC komunita musí v oblasti Auditability minimálně splnit:

  1. Významné akce nad restricted knowledge, Operational DNA, AI governance, source of truth nebo rozhodnutími jsou auditovatelné.
  2. Auditability je chápána jako základ důvěryhodného AI-first provozu.
  3. Auditní záznamy kritických akcí jsou srozumitelné a použitelné pro review.
  4. Komunita definuje, které typy akcí vyžadují audit podle klasifikace a dopadu.
  5. Kritický auditní záznam identifikuje aktéra a jeho typ.
  6. Kritický auditní záznam uvádí typ akce.
  7. Kritický auditní záznam identifikuje dotčený objekt nebo rozsah objektů.
  8. Přístup k restricted knowledge, Operational DNA, AI processing a export má auditovatelný purpose.
  9. Kritická akce je dohledatelná k permission basis nebo approval.
  10. Schválení kritických akcí je auditovatelné.
  11. Akce nad restricted knowledge nebo Operational DNA auditují datovou klasifikaci.
  12. AI zpracování neveřejného know-how je auditovatelné přiměřeně citlivosti.
  13. Kritická AI workflow mají definovanou prompt/output audit policy.
  14. Autonomní nebo tool-using agenti mají auditní stopu přiměřenou riziku.
  15. Kritické source of truth změny mají change history a rollback path.
  16. Kritická rozhodnutí mají decision record s auditovatelným reasoningem.
  17. Změny přístupu ke restricted knowledge, Operational DNA nebo AI processing jsou auditovatelné.
  18. Export restricted knowledge nebo Operational DNA má auditní záznam.
  19. Významné změny AI Operating Mode jsou auditovatelné.
  20. Zvýšení AI autonomy nebo rozšíření agent permissions je auditovatelné.
  21. Překročení nebo výjimka z významného AI budgetu je auditovatelná.
  22. Významné incidents mají audit trail a post-incident review.
  23. Aktivace fallbacku u kritického workflow je auditovatelná.
  24. Kritické AI-generated artefakty mají základní lineage.
  25. Audit logs kritických akcí mají retention a protection rules.
  26. Audit logs mají access control, integrity protection a klasifikaci přiměřenou citlivosti.
  27. Auditní záznamy kritických akcí jsou chráněné proti neautorizované změně nebo smazání.
  28. Odpovědné role mají lidsky srozumitelný přístup k auditním informacím kritických oblastí.
  29. AI přístup k audit logs je explicitně řízený a omezený podle citlivosti.
  30. Opakovatelné kritické auditní kontroly jsou převedeny na validation rules, pokud je to praktické.
  31. AI Retrospective má přístup k relevantním auditním vstupům přiměřeně scope a citlivosti.
  32. Compliance audit je doplněn o learning and governance audit u kritických AI-first oblastí.
  33. Auditability podporuje systémové učení i odpovědnost.
  34. Komunita definuje audit level podle rizika, klasifikace a dopadu.
  35. Audit scope je přiměřený riziku a neignoruje kritické AI a knowledge actions.
  36. Audit vyvažuje traceability, privacy and trust.
  37. Vendor access k restricted knowledge nebo Operational DNA má auditovatelný scope, purpose and activity.
  38. Kritická AI exit strategy zohledňuje audit records potřebné pro bezpečný exit.
  39. Human Cockpit Layer nebo governance rozhraní zviditelňuje kritické auditní signály.
  40. AI-generated audit analysis je označená jako podklad nebo návrh a reviewovaná odpovědnou rolí.

46. Summary

Auditability dává AI-first komunitě paměť odpovědnosti.

Nestačí, že systém funguje.

Komunita musí vědět:

AIFC proto říká:

Make critical actions traceable.
Make AI actions explainable.
Make decisions reviewable.
Make learning possible.

Česky:

Udělejte kritické akce dohledatelné.
Udělejte AI akce vysvětlitelné.
Udělejte rozhodnutí reviewovatelná.
Udělejte učení možným.

Auditability není pouze kontrola minulosti.

Je to schopnost komunity učit se, opravovat se a důvěryhodně řídit vlastní budoucnost.

Auditability turns action history into accountable and learnable governance.