usulpro
/
banatie-content
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
banatie-content/assets/beyond-vibe-coding/ai-aided-test-first.md

18 KiB
Raw Blame History

AI-Aided Test-First Development

Официальное название

AI-aided test-first development — официальное название от Thoughtworks Technology Radar (апрель 2023)

Статус: TRIAL в Thoughtworks Technology Radar — рекомендуется для экспериментов в production

Альтернативные названия

  • Test-Driven Development with AI (Builder.io, широко распространено)
  • AI-Enabled TDD / AI-TDD (AgileМania, коммерческие тренинги)
  • TDD as AI Communication Protocol (8th Light, концептуальное)
  • AI-assisted TDD (общепринятое в индустрии)
  • Test-First AI Development (академические источники)

Методология

Суть подхода

Инверсия традиционного AI workflow:

Традиционный AI подход AI-aided test-first
Prompt → AI generates code → Human writes tests Human defines test requirements → AI generates tests → AI implements → Tests validate
AI controls scope Tests control scope
Human validates after Human specifies before
Context in conversation Context in tests

Цикл разработки

  1. Human: пишет test description или acceptance criteria в natural language
  2. AI: генерирует failing test(s) на основе описания
  3. Human: проверяет и корректирует тесты (they define "done")
  4. AI: имплементирует минимальный код для прохождения тестов
  5. Tests: автоматически валидируют (binary pass/fail)
  6. AI: рефакторит при необходимости (tests as safety net)
  7. Repeat: для следующей фичи

Ключевые принципы

  • Tests as specification — тесты = compressed context для AI
  • Binary validation — clear, measurable goal (pass/fail) вместо subjective review
  • Human architect, AI implementer — разработчик проектирует поведение, AI печатает код
  • Guard rails — тесты предотвращают AI hallucinations и scope creep
  • Fast feedback — instant validation вместо manual code review

Преимущества

Для разработчика

  • ✅ Контроль над scope — тесты определяют границы, AI не может "увлечься"
  • ✅ Сохранение навыков — developer остаётся в роли architect/designer
  • ✅ Clear communication — тесты = unambiguous specification для AI
  • ✅ Reduced cognitive load — не нужно держать весь контекст в голове
  • ✅ Instant validation — automated tests вместо manual review

Для AI

  • ✅ Clear goal — binary pass/fail проще чем "good code"
  • ✅ Structured context — test suite как compressed requirements
  • ✅ Reduced hallucinations — тесты ограничивают пространство решений
  • ✅ Measurable progress — количество passing tests

Для команды

  • ✅ Consistent quality — junior + AI align с architectural style команды
  • ✅ Living documentation — тесты документируют поведение
  • ✅ Faster onboarding — AI помогает новичкам писать код в team's style
  • ✅ Reduced tech debt — TDD предотвращает "vibe coding"

Какую проблему решает

Проблемы AI-кодинга без TDD

  1. Hallucinations и incorrect implementations — AI генерирует код, который компилируется но не работает правильно
  2. Scope creep — AI добавляет "полезные" фичи, которые не требовались
  3. Context rot — AI теряет контекст в длинных сессиях, повторяет ошибки
  4. Untestable code — AI генерирует tightly coupled код без учёта тестируемости
  5. Accumulating technical debt — "move fast and break things" без safety net
  6. Developer skill atrophy — разработчики становятся copy-paste operators
  7. Ambiguous requirements — AI интерпретирует prompt по-своему

Решение через TDD

  • Binary validation → hallucinations caught immediately
  • Tests define scope → AI cannot exceed test requirements
  • Tests = persistent context → no context rot, reusable across sessions
  • Design for testability → forces better architecture
  • Regression prevention → existing tests catch breaks
  • Developer stays architect → designs behavior, AI implements
  • Unambiguous spec → failing test = clear goal

Авторитетные источники

Thoughtworks Technology Radar (2023-2025)

  • AI-aided test-first development (апрель 2023)
  • Статус: TRIAL — "we've seen promising results"
  • Применение: junior developers + AI align с team's architectural style
  • Подход: generate tests with ChatGPT → developer implements → или AI implements с test-first constraint

DORA Report 2025 (Google Cloud)

  • State of AI-Assisted Software Development 2025
  • Главная находка: "AI is an amplifier, not a fix" — усиливает существующие практики
  • TDD impact: организации с strong testing practices получают больше выгоды от AI
  • Google Cloud Blog (январь 2026): "TDD amplifies AI success"
  • Цитата: "Quality practices such as TDD help organizations harness AI's productivity gains while maintaining stability"

Kent Beck (создатель TDD и XP)

  • Pragmatic Engineer Podcast (июнь 2025)
  • YouTube Interview "TDD, AI agents and coding with Kent Beck"
  • Цитата: "TDD is a superpower when working with AI. I communicate things the Genie missed in terms of tests"
  • Практика: запускает тесты каждые 300ms чтобы "catch the genie"
  • LinkedIn: "The genie doesn't want to do TDD. It wants to go fast. You have to force red-green-refactor"

8th Light (Software Consultancy)

Builder.io Engineering

  • Test-Driven Development with AI (август 2025)
  • Тезис: "AI turns TDD's weaknesses into strengths"
  • Анализ: AI thrives on clear, measurable goals — binary test = clearest goal
  • Практика: AI generates boilerplate tests, developer focuses на edge cases

Формальные спеки и фреймворки

AgileМania: AI-Enabled TDD Certification

  • AI-Enabled Test-Driven Development (AI-TDD) Training (декабрь 2024)
  • Формат: 1-day hands-on certification course
  • Охват: fundamentals of TDD + AI pair programming + hands-on exercises
  • Статистика: "By 2025, 85% of software projects incorporate AI tools"
  • Особенности: фокус на практическую интеграцию GitHub Copilot и Claude в TDD workflow

Galileo AI: TDD for AI Systems Framework

  • Test-Driven Development for AI Systems (январь 2026)
  • TDD for AI System Architecture (август 2025)
  • Особенности: framework для тестирования самих AI-систем, не AI-assisted coding
  • Компоненты:
    • Model Quality Checklist
    • Test-First Specification Template
    • AI Component Testing Matrix
  • Применение: production AI systems с guardrails

Thoughtworks Structured Approach

  • Technology Radar Entry (2023)
  • Методология:
    1. Reusable prompt "fragments" (tech stack + design patterns + team conventions)
    2. Feature description + acceptance criteria
    3. AI generates implementation plan → tests → code
  • Особенности: enterprise-scale применение, интеграция в CI/CD

Nimble Approach: TDD Protocol for AI

  • How to Use TDD for Better AI Coding Outputs (ноябрь 2025)
  • Особенности: пошаговый protocol для AI prompting с TDD
  • Инструкции: как структурировать prompts для генерации тестов первыми

Qodo (ex-CodiumAI): AI Test Generation

  • AI Code Assistants Revolutionizing TDD (июль 2025)
  • Продукт: Qodo Gen — AI test generation tool
  • Особенности: интегрируется в IDE, генерирует unit tests automatically
  • Поддержка: Python, JavaScript, TypeScript, Java

Использование в Claude Code

Нативная поддержка

Claude Code полностью поддерживает AI-aided test-first подход через:

  1. Explicit test-first prompts:

    "Создай failing test для функции calculateTax(), которая должна 
обрабатывать случаи: positive income, zero income, negative income"

  2. Output styles для TDD:

    • /output-style learning — Claude объясняет почему тест failing и как его починить
    • /output-style explanatory — подробное объяснение test design decisions

  3. MCP integration — подключение test runners через Model Context Protocol

Workflow в Claude Code

Step 1: Test Requirements

Prompt: "Напиши тесты для user authentication module:
- Valid credentials → success
- Invalid password → error with message
- Nonexistent user → error with message
- Empty fields → validation error"

Step 2: Claude генерирует failing tests

describe('AuthService', () => {
  test('authenticates user with valid credentials', async () => {
    const result = await authService.login('user@example.com', 'password123')
    expect(result.success).toBe(true)
    expect(result.user).toBeDefined()
  })
  // ... остальные тесты
})

Step 3: Запуск (все failing)

Prompt: "Запусти тесты и покажи результаты"
Claude: *executes tests, shows all failures*

Step 4: Implementation

Prompt: "Имплементируй AuthService чтобы пройти эти тесты"
Claude: *generates minimal implementation*

Step 5: Validation

Prompt: "Запусти тесты снова"
Claude: *all tests pass*

Step 6: Refactor

Prompt: "Рефактор: выдели error handling в отдельный класс"
Claude: *refactors with tests as safety net*

Best Practices для Claude Code

  • Используй Projects — добавь testing framework docs в project knowledge
  • Custom instructions: "Always generate tests before implementation. Run tests after each change."
  • Iterative approach — один тест → implementation → следующий тест
  • Explicit commands: "Run tests", "Show test coverage", "Refactor without breaking tests"

Источники

Использование в Cursor

Нативная поддержка

Cursor имеет специальные возможности для TDD workflow:

  1. Composer Agent Mode — multi-step task execution с test validation
  2. Inline test generation — Cmd/Ctrl + K → "generate test for this function"
  3. Auto-run tests — Cursor автоматически запускает тесты после генерации кода
  4. Test-aware refactoring — проверяет, что рефакторинг не ломает тесты

Workflow в Cursor

Method 1: Inline TDD

  1. Напиши comment с test requirements: // Test: calculateDiscount should return 10% for orders > $100
  2. Cmd + K → "Generate test from this comment"
  3. Cursor генерирует failing test
  4. Cmd + K на функции → "Implement to pass the test above"
  5. Cursor автоматически запускает тесты

Method 2: Composer TDD

  1. Открой Composer (Cmd + I)
  2. Prompt: "Create feature X using TDD: write tests first, then implement"
  3. Composer генерирует test file → implementation file → runs tests → показывает результаты
  4. Если тесты не проходят, Composer автоматически исправляет

Method 3: Chat TDD

  1. Chat panel: "I want to add feature Y. Let's start with tests."
  2. Cursor генерирует test scenarios
  3. Ты выбираешь какие тесты написать first
  4. Cursor генерирует failing tests
  5. "Now implement to pass these tests"
  6. Cursor имплементирует + auto-runs tests

Cursor-специфичные фичи

  • Multi-file test generation — Cursor одновременно создаёт test file + implementation stub
  • Test coverage view — показывает какие части кода покрыты тестами
  • Smart refactoring — предлагает рефакторинг только если тесты проходят
  • Voice mode TDD — можно проговаривать test requirements голосом

Best Practices для Cursor

  • Rules for AI (.cursorrules): 
    Always use test-driven development:
1. Generate failing tests first
2. Implement minimal code to pass
3. Refactor with tests as safety net
4. Run tests after every change
  • Composer для complex features — пусть agent управляет TDD циклом
  • Inline для quick fixes — fast test generation для single functions
  • Git worktrees — Cursor может запускать TDD workflow в изолированных branches

Источники

Ссылки

Официальные источники

Авторитетные голоса

Спеки и фреймворки

Практические руководства

Дополнительные ресурсы