I Sat on 300 Interview Panels — Here's What We Actually Evaluate

# 나는 300개 인터뷰 패널에 참석했다 — 우리가 실제로 평가하는 것은 다음과 같다

후보자는 40분 동안 완벽했다. 그녀는 우리의 알고리즘 도전과제를 O(n²)에서 O(n log n)으로 최적화했으며 전혀 수고하지 않았다. 그녀는 우리의 엣지 케이스를 우리 프로덕션 코드보다 더 잘 처리하는 분산 시스템을 설계했다. 나와 동료 인터뷰어는 이미 "강력한 채용" 추천서를 정신적으로 초안하고 있었다.

그러더니 행동 질문이 나왔다.

"상사와 의견이 다했던 때에 대해 이야기해 주세요,"라고 인터뷰어가 물었다.

"아, 저는 사실 상사와는 의견이 다르지 않아요,"라고 그녀는 미소 지으며 말했다. "권위를 존중하고 리더십이 최선의 결정을 알고 있다고 믿는 것이 중요하다고 생각해요. 만약 제 상사가 결정을 내리면, 저는 그것을 완전히 지지해요."

나는 동료 인터뷰어의 펜이 평가표 위에서 멈추는 것을 보았다. 우리는 서로 눈치를 주었다. 그 순간, 모든 기술적 도전을 압도했던 후보자가 시니어 엔지니어링 역할로서 자격을 스스로 상실한 것이었다.

이런 일은 생각보다 더 자주 일어난다. Google, Stripe, 시리즈 B 스타트업, 그리고 지금은 핀테크 회사에서 엔지니어링 부사장으로 활동하며 300개 이상의 인터뷰 패널에 참석한 후, 나는 뛰어난 엔지니어들이 하나의 행동 답변으로 자신들의 기회를 무너뜨리는 것을 여러 번 보았다. 나는 또한 평범한 기술적 수행자들이 우리가 실제로 평가하는 내용을 이해했기 때문에 제안을 받는 것을 보았다.

후보자들이 우리가 평가하고 있다고 생각하는 것과 실제로 우리가 점수 매기는 것 사이의 간극은 엄청나다. 그리고 이것은 재능 있는 사람들이 그들이 마땅히 받아야 할 직업을 잃게 하고 있다.

평가표 이해하기: 인터뷰어가 실제로 작성하는 내용

대부분의 후보자들은 인터뷰가 통과/실패라고 생각한다. 그렇지 않다. 심각한 기술 회사의 모든 인터뷰어는 우리가 평가해야 하는 특정 역량을 포함하여 상세한 평가표를 작성한다. 이것들은 모호한 인상이 아니라—제안 여부를 결정하는 구조화된 평가다.

내가 현재 있는 회사에서 우리의 평가표는 12개의 구체적인 카테고리로 구성되어 있다. 6개는 기술적이며: 문제 해결, 코드 품질, 시스템 설계, 디버깅 능력, 기술 커뮤니케이션, 및 도메인 지식이다. 나머지 6개는 행동적이며: 협업, 소유권, 적응력, 커뮤니케이션, 리더십, 및 판단력이다.

후보자들이 간과하는 것은: 기술 카테고리는 행동 카테고리보다 낮은 기준을 가진다. 우리는 시니어 역할에 대해 기술적 기술에서 약 70%의 역량을 기대한다. 하지만 행동 역량의 경우는 85% 이상이 필요하다, 특히 시니어 포지션에서는. 왜냐고? 우리는 여러분에게 우리 기술 스택을 가르칠 수 있다. 하지만 갈등을 해결하고, 소유권을 가지며, 압박 속에서 효과적으로 커뮤니케이션하는 방법을 가르칠 수는 없다.

내가 평가표에 "강력한 채용"이라고 쓰면, 이 사람이 완벽하다는 것이 아니다. 나는 그들이 기술적 기준을 충족했으며 팀을 더 좋게 만들 것임을 입증했다고 말하고 있는 것이다. 내가 "채용 없음"이라고 쓸 때는 대개 그들이 코딩 문제를 해결하지 못했기 때문이 아니다. 그들이 나에게 그들과 함께 일하는 것이 악몽일 것임을 보여주었거나, 매일 마주하는 모호함에 무너지거나, 일이 잘못될 때 다른 사람들에게 책임을 전가할 것이라는 때문이다.

상사와 의견이 다르지 않다고 말한 후보자는? 그녀는 즉시 "판단력"과 "리더십" 카테고리에서 실패했다. 우리는 시니어 수준에서 나쁜 결정에 맞설 수 있는 사람, 권위 없이 영향을 미칠 수 있는 사람, 위기가 클 때 "우리가 실수를 하고 있는 것 같다"고 말할 수 있는 사람이 필요하다. 맹목적인 복종은 충성이 아니다 — 그것은 책임 문제다.

질문 뒤에 숨겨진 진짜 질문 해독하기

모든 행동 질문은 다른 것을 대변한다. 우리가 "실패한 경험에 대해 이야기해 주세요"라고 물을 때, 우리는 당신의 실패에 관심이 있는 것이 아니다. 우리는 당신이 역경을 어떻게 처리하며, 책임을 지는지, 실수에서 얼마나 잘 학습하는지를 평가하고 있다.

나는 Google에서 인터뷰어로 처음 일했던 동안 이 사실을 힘들게 배웠다. 나는 한 후보자에게 잘못된 프로젝트에 대해 물었고, 그는 자신의 제품 관리자가 요구사항을 변경하고, 디자이너가 모형을 늦게 제출하고, 관리자가 자원을 충분히 주지 않았다는 것을 10분 동안 설명했다. 기술적으로 그는 질문에 대답했다. 하지만 내가 평가표에 쓴 것은: "다른 사람을 탓함. 소유권 없음. 팀 역학에 대한 적신호."

또 다른 후보자는 같은 질문에 대해 이렇게 대답했다: "나는 채택되지 않은 기능을 만들었다. 나는 기술적 우아함에 너무 집중해서 사용자가 실제로 원하는지 확인하지 않았다. 나는 코드를 작성하기 전 사용자 조사를 하는 법을 배웠고, 이제 항상 문제에서 시작한다." 이것은 강력한 채용 신호이다.

질문은 실패에 관한 것이 아니다. 그것은 책임에 관한 것이다.

우리가 "빠르게 배워야 했던 때에 대해 이야기해 주세요"라고 요청할 때, 우리는 당신의 학습 속도를 테스트하는 것이 아니다. 우리는 모호성에 대한 접근 방식, 자원fulness, 및 도움을 요청하는 방법을 평가하고 있다. "나는 그냥 혼자서 해결했다"라고 말하는 후보자는 "나는 이 분야를 아는 세 사람을 확인하고, 커피 미팅을 설정하고, 학습 계획을 세웠다"고 말하는 후보자보다 종종 점수가 낮다.

우리가 "팀원과 갈등이 있었던 때를 설명해 주세요"라고 요청할 때, 우리는 드라마를 찾고 있는 것이 아니다. 우리는 당신의 감정 지능, 사람과 문제를 분리하는 능력, 그리고 의견 차이를 통해 관계를 유지할 수 있는지를 평가하고 있다. 가장 나쁜 대답은 "저는 갈등을 겪어본 적이 없다" (부정직하거나 무지)와 "나는 그들이 틀렸다고 말했는데 결국 그들이 동의했다" (공감 부족)이다.

모든 질문은 당신이 여기에서 일할 때 어떻게 행동할지를 보여주는 창이다. 우리는 이야기를 수집하는 것이 아니다. 우리는 당신의 미래 성과를 예측하고 있다.

내가 후보자를 평가하는 방식을 바꾼 인터뷰

3년 전, 나는 직원 엔지니어 역할을 위해 Marcus라는 후보자를 인터뷰했다. 그의 이력서는 실망스러웠다 - 그는 이름 없는 스타트업에서 7년을 보냈고 그 회사는 망했다. 그의 기술적 성과는 탄탄했지만 특별하지는 않았다. 그는 코딩 문제를 정확하게 해결했으나 지시하지 않았으면 최적화하지 않았다.

그런 다음 행동 질문으로 넘어갔다.

"네가 내린 가장 어려운 기술적 결정에 대해 이야기해 주세요,"라고 물었다.

Marcus는 오랫동안 멈추었다. "우리는 유지 관리가 불가능해지고 있는 모놀리스를 가지고 있었습니다. 모든 사람이 그것을 마이크로서비스로 재작성하고 싶어 했습니다 — 2018년이었습니다, 그게 할 일이었습니다. 나는 우리의 실제 고통 지점을 분석하는 데 2주를 보냈고, 마이크로서비스가 우리 문제를 더 악화시킬 것이라는 것을 깨달았습니다. 우리는 세 명의 엔지니어가 있었고, 운영 성숙도가 없었습니다. 우리의 문제는 코드 조직이었지, 배포가 아니었습니다."

"그래서 무엇을 했나요?"

"나는 명확한 경계를 가진 모놀리스를 모듈로 리팩토링하고, 우리의 가장 문제가 있는 서비스를 학습 연습으로서 하나의 마이크로서비스로 추출하며, 1년 후에 아키텍처를 재검토하자고 제안했습니다. 팀은 실망했습니다 — 마이크로서비스가 더 흥미롭게 들렸습니다. 하지만 나는 그들에게 운영 부담, 디버깅 복잡성, 배포 조정을 보여주었습니다. 그들은 내 접근 방식을 시도해 보자고 동의했습니다."

"무슨 일이 일어났나요?"

"리팩토링은 3개월이 걸렸습니다. 우리는 알림 서비스를 성공적으로 추출했습니다. 1년 후, 우리는 8명의 엔지니어가 되었고, 우리는 더 많은 서비스를 나누기 시작했습니다 — 하지만 그때는 모니터링이 있었고, CI/CD가 있었으며, 올바르게 실행할 수 있는 운영 성숙도가 있었습니다. 모두가 원할 때 했더라면 우리는 운영 부담에 무너졌을 것입니다."

나는 그가 말을 마치기 전에 "강력한 채용"이라고 썼다.

이 답변은 판단력, 용기, 기술 깊이, 의사 소통 능력 및 장기적인 사고를 증명했다. Marcus는 유행하는 솔루션에 저항하고 분석을 했으며, 회의적인 팀원들을 설득했고, 맞았다는 것이 증명되었다. 그는 인기가 없지만 옳은 결정을 내렸다.

우리는 그를 채용했다. 그는 지금 우리의 수석 엔지니어이다. 그 모놀리스를 유지하기로 한 결정? 그건 그가 매 분기마다 내리는 판단에서 나오는 것이고, 그는 80% 정도의 정확도로 맞춘다. 그게 바로 우리가 직원+ 수준에서 필요로 하는 것이다.

완벽한 알고리즘 최적화를 가진 후보자는? 우리는 그녀를 채용하지 않았다. 그녀는 상사가 무엇을 말하든 문제 없이 실행했을 것이다, 심지어 그것이 잘못된 것이었다 하더라도. 시니어 수준에서는, 그것은 자격을 잃게 한다.

평가표 분해하기: 각 등급이 실제로 의미하는 것

대부분의 후보자들이 모르는 사실: 우리의 평가는 주관적인 감정이 아니다. 그것들은 정의된 기준이다. 내가 누군가를 "강력한 채용" 대 "채용" 대 "채용 없음"으로 표시할 때, 나는 수백 개의 인터뷰를 통해 조정된 루브릭을 적용하고 있다.