μμ μ μΈ API μ΄μμ μν Rate Limit κ΄λ¦¬ μ λ΅
νλμ μΈ μΉ μ ν리μΌμ΄μ κ°λ°μμ μΈλΆ API(OpenAI, AWS, Google Cloud λ±) νμ©μ νμμ μ λλ€. νμ§λ§ κ±°μ λͺ¨λ API μλΉμ€λ μλ² λΆνλ₯Ό λ°©μ§νκΈ° μν΄ 'Rate Limit(νΈμΆ μ ν)' μ μ± μ μ΄μν©λλ€. κ°λ°μλ μλΉμ€ μ΄μμκ° μ΄ ν λΉλ μμ§ μμ μ μ νν μμΈ‘νμ§ λͺ»νλ©΄, μ€μν μ¬μ©μ μμ²μ΄ λ°μνλ μκ° `429 Too Many Requests` μλ¬μ ν¨κ» μλΉμ€κ° λ§λΉλλ μ¬κ°ν μ₯μ λ₯Ό κ²ͺμ μ μμ΅λλ€.
μ΄ κ³μ°κΈ°λ νμ¬ νΈλν½ μλλ₯Ό κΈ°λ°μΌλ‘ λ¨μ ν λΉλμ΄ μΈμ λ°λ₯λ μ§λ₯Ό μ€μκ°μΌλ‘ μ°μΆν΄μ€λλ€. μλ₯Ό λ€μ΄ λΆλΉ 100νμ© νΈμΆλλ APIμ λ¨μ ν λΉλμ΄ 5,000νλΌλ©΄, μ½ 50λΆ λ€μ μλΉμ€κ° μ€λ¨λ κ²μμ 미리 μ μ μμ΅λλ€. μ΄λ₯Ό ν΅ν΄ μλνλ μλ¦Ό μμ€ν μ ꡬμΆνκ±°λ, νΈλν½μ λΆμ°μν€λ λ‘μ§μ μ μ©νκ±°λ, νΉμ 미리 μ λ£ ν°μ΄λ‘ κ²°μ μλ¨μ μ κ·Έλ μ΄λνλ λ±μ μ μ μ μΈ λμμ΄ κ°λ₯ν΄μ§λλ€.
νΉν λ¬΄λ£ ν°μ΄λ₯Ό μ¬μ©νλ μκ·λͺ¨ νλ‘μ νΈλ νμ΅μ© ν μ΄ νλ‘μ νΈμμλ μμμΉ λͺ»ν 루ν(Loop)λ κ³Όλν ν¬λ‘€λ§μΌλ‘ μΈν΄ μμκ°μ νλκ° μμ§λλ κ²½μ°κ° λ§μ΅λλ€. λ³Έ λꡬμμ μ 곡νλ 'λ¨μ μκ°' μ 보λ₯Ό λ°νμΌλ‘ μ¬λ¬λΆμ μ½λκ° μΌλ§λ μ§μ κ°λ₯νμ§ μ κ²ν΄λ³΄μΈμ. μμ μ μΈ μλΉμ€λ μ² μ ν ν λΉλ κ΄λ¦¬μμ μμλ©λλ€.
μμ£Ό 묻λ μ§λ¬Έ (FAQ)
A: κ°μ₯ μ¦κ°μ μΈ ν΄κ²°μ± μ νΈμΆ μλλ₯Ό λ¦μΆλ 'μ§μ λ°±μ€ν(Exponential Backoff)' μκ³ λ¦¬μ¦μ μ½λμ μ μ©νλ κ²μ λλ€. λ§μ½ μ§μμ μΈ νΈλν½μ΄λΌλ©΄ μκΈμ λ₯Ό μν₯ν΄μΌ ν©λλ€.
A: μλΉμ€λ§λ€ λ€λ¦ λλ€. λ§€ λΆ, λ§€ μ μ κ°μ μ΄κΈ°νλλ κ²½μ°λ μκ³ , μ¬λΌμ΄λ© μλμ°(Sliding Window) λ°©μμΌλ‘ μ€μκ° μ΄κΈ°νλλ κ²½μ°λ μμΌλ―λ‘ API 곡μ λ¬Έμλ₯Ό λ°λμ νμΈν΄μΌ ν©λλ€.
A: λ€, μ΄ κ³μ°κΈ°λ νμ¬ μ λ ₯λ 'νκ· μλ'κ° μΌμ νλ€λ κ°μ νμ κ³μ°λ©λλ€. μ€μ νΈλν½μ΄ λ€μλ μνλ€λ©΄ μμ§ μμ λ λ³ν μ μμ΅λλ€.