Article Weekly, Issue 23

Period

2024-06-02 ~ 2024-06-08

Parsing JSON is a Minefield 💣

• JSON 은 데이터 직렬화, 역직렬화에 많이 쓰이는 사실상 표준이지만, 실제로는 그렇게 이상적이지 않음
• 다양한 엣지 케이스를 소개
• JSON 라이브러리가 시간이 지남에 따라 발전하고 많은 세부 사항이 느슨하게 지정되거나 전혀 지정되지 않은 사양에 의존하는 경우도 안내

The Intellectual Obesity Crisis

• 정보 중독이 우리의 뇌를 썩게 함
  • 정보가 과도하게 많아지면서 우리의 호기심이 집중력을 잃고 산만해짐
  • 이는 지적 비만을 초래하여 우리의 마음을 쓸모없는 정보로 채우게 됨
• 해결책
  • 메타 인식
    • 자신의 주의가 어디로 향하는지 주의하는 습관을 기르는 것이 중요함
    • ‘10-10-10 규칙’을 사용하여 정보를 소비한 후 10분, 10개월, 10년 후의 감정을 생각해보는 것이 도움이 됨
  • 라이프스타일 변화
    • 정크 정보를 피하기 위해 생활 방식을 재정비하는 것이 필요함
    • 예를 들어, 글쓰기를 통해 나쁜 정보를 걸러내고 자신의 생각과 대면하는 시간을 가지는 것이 좋음
  • 개인 맞춤 정보 다이어트
    • 자신에게 맞는 정보 다이어트를 찾아야 함
    • 무의미한 웹 탐색을 줄이고, 삶의 후회가 남지 않도록 해야 함

Desktop Linux is an Untapped Gold Mine

• 리눅스는 훌륭한 운영체제이고, 데스크탑을 제외한 많은 곳에서 현재 사용 중임
• 앞으로 데스크탑 리눅스 또한 점점 점유율을 높여 승리할 수 있을 거라 기대한다고 함
  • 과연?

AI in software engineering at Google: Progress and the path ahead

• 구글의 내부 소프트웨어 개발 도구의 지속적인 변화 속에서 최신 AI 기반 개선 사항을 소개함
  • 향후 5년 동안 예상되는 추가 변화에 대해서도 논의함
• 도전과제
  • AI 기술이 빠르게 발전하고 있으며 어떤 아이디어를 먼저 탐색할지 예측하기 어렵다는 것
  • 기술적으로 실현 가능한 데모와 성공적인 제품화 사이에는 종종 상당한 격차가 존재함
  • 아이디어를 제품에 배포하는 접근 방식에는 세 가지 지침이 있음
    • 기술적 실현 가능성과 영향력에 따라 우선순위를 정함
      • 기술적 실현 가능성이 이미 입증되었고 엔지니어의 워크플로우에 높은 (측정 가능한) 영향을 미칠 것으로 예상되는 아이디어에 대해 작업함
    • 신속하게 학습하여 UX와 모델 품질을 개선함
      • 개발자의 생산성과 행복을 지키면서 신속하게 반복하고 얻은 교훈을 추출하는 데 중점을 둠
      • 사용자 경험은 모델 품질만큼 중요함
    • 효과 측정
      • 목표는 생산성과 만족도 지표를 높이는 것이므로 이러한 지표를 광범위하게 모니터링해야 함
• 소프트웨어 개발에 LLM 적용
  • LLM 기반 인라인 코드 완성은 소프트웨어 개발에 적용되는 AI의 가장 인기 있는 응용 프로그램
  • 여러 도구에서 오랜 기간 동안 큐레이션해온 내부 소프트웨어 엔지니어링 활동에 대한 방대하고 고품질의 로그를 사용함
    • 이 데이터를 통해 세분화된 코드 편집, 빌드 결과, 빌드 문제 해결을 위한 편집, 코드 복사-붙여넣기 작업, 붙여넣은 코드 수정, 코드 검토, 검토자 문제 해결을 위한 편집, 저장소에 변경 사항 제출 등을 표현할 수 있음
  • 훈련 데이터는 입력과 출력 모두에서 작업별 주석이 달린 정렬된 코드 말뭉치임
  • 다음으로 중요한 배포는 코드 리뷰 의견 해결(현재 8% 이상이 AI 기반 지원으로 처리됨)과 붙여넣은 코드를 주변 컨텍스트에 자동으로 적응시키는 것(현재 IDE에서 코드의 약 2%를 차지함)이었음
    • https://research.google/blog/resolving-code-review-comments-with-ml/
  • 추가 배포에는 자연어로 IDE에 코드 편집을 지시하고 빌드 실패에 대한 수정 사항을 예측하는 것이 포함됨
    • 유사한 패턴을 따르는 코드 가독성을 위한 팁 예측과 같은 다른 응용 프로그램도 가능함
    • https://research.google/blog/safely-repairing-broken-builds-with-ml/
  • 함께 이러한 배포된 응용 프로그램은 Google에서 성공적이고 많이 사용되는 응용 프로그램이었으며, 실제 산업 환경에서 생산성에 측정 가능한 영향을 미쳤음
• 배운 것들
  • 사용자의 워크플로우에 자연스럽게 녹아드는 UX로 가장 높은 영향력을 달성함
    • 위의 모든 예에서 사용자에게 제안이 제시되어 한 번의 탭이나 클릭으로 워크플로우의 다음 단계로 이동
    • 사용자가 기능을 트리거해야 한다는 것을 기억하도록 요구하는 실험은 확장하지 못했음
  • AI 기반 제안을 통해 코드 작성자가 점점 더 리뷰어가 되고 있음을 관찰함
    • 리뷰 비용과 부가 가치 사이의 균형을 찾는 것이 중요
    • 일반적으로 수용률 목표로 절충안을 해결
  • 오프라인 메트릭은 종종 사용자 가치의 대략적인 대리자에 불과하므로 온라인 A/B 실험을 통한 신속한 반복이 핵심임
    • AI 기반 기능을 내부 도구에 노출함으로써 쉽게 출시 및 반복하고, 사용 데이터를 측정하며, UX 리서치를 통해 사용자에게 직접 경험을 물어볼 수 있다는 점에서 큰 이점이 있음
  • 우리 기능과의 상호 작용을 포함하여 소프트웨어 도구 전반에 걸친 Google 엔지니어의 활동에서 얻은 고품질 데이터는 모델 품질에 필수적임
• What’s next
  • 업계 전반에 걸쳐 ML 기반 코드 완성은 소프트웨어 개발자에게 큰 도움을 제공했음
    • 코드 생성을 개선할 기회는 여전히 있지만, 다음 단계의 혜택은 테스트, 코드 이해 및 코드 유지 관리와 같은 더 광범위한 소프트웨어 엔지니어링 활동에서 ML 지원으로부터 나올 것으로 기대됨
    • 후자는 엔터프라이즈 환경에서 특히 관심이 높음
    • 이러한 기회는 우리 자신의 진행 중인 작업에 정보를 제공함
  • 업계에서 볼 수 있는 두 가지 트렌드를 강조
    • 인간과 컴퓨터의 상호 작용은 일반적인 양식으로서 자연어로 이동했으며, 우리는 언어를 소프트웨어 엔지니어링 작업에 대한 인터페이스로 사용하고 모두 IDE에 통합된 소프트웨어 개발자의 정보 요구에 대한 게이트웨이로 사용하는 방향으로 전환하고 있음
    • 문제 진단에서 수정에 이르기까지 더 큰 규모의 작업에 대한 ML 기반 자동화는 실행 가능성에 대한 초기 증거를 보여주기 시작
      • 이러한 가능성은 에이전트 및 도구 사용의 혁신에 의해 주도되며, 이를 통해 더 큰 작업을 수행하기 위해 하나 이상의 LLM을 구성 요소로 사용하는 시스템을 구축할 수 있음
  • 이러한 차세대 기능을 향한 위의 성공을 확장하기 위해, 이 주제에 대해 연구하는 실무자와 연구자 커뮤니티는 실용적인 엔지니어링 작업을 향해 분야를 이동하는 데 도움이 되는 공통 벤치마크의 혜택을 받을 수 있음
    • 지금까지 벤치마크는 주로 코드 생성(예: HumanEval) 중심이었음
    • 그러나 엔터프라이즈 환경에서는 코드 마이그레이션 및 프로덕션 디버깅과 같은 더 광범위한 작업에 대한 벤치마크가 특히 가치 있을 수 있음
    • 버그 해결(예: SWEBench)을 위한 벤치마크와 그러한 벤치마크를 대상으로 하는 프로토타입(예: Cognition AI)이 발표되었음
  • 더 광범위한 소프트웨어 엔지니어링 작업을 포괄하기 위해 더 많은 벤치마크를 제안하기 위해 커뮤니티가 함께 모이기를 권장

References

• https://seriot.ch/projects/parsing_json.html
• https://www.gurwinder.blog/p/the-intellectual-obesity-crisis
• https://gebna.gg/blog/desktop-linux-is-an-untapped-gold-mine
• https://research.google/blog/ai-in-software-engineering-at-google-progress-and-the-path-ahead/