Job Title: Observability Engineer
Location: San Antonio, TX (Hybrid)
Duration: Long-Term Contract
ย
ย
Position Summary
We are seeking a highly skilled Senior Observability Engineer to design, implement, and optimize modern observability solutions across cloud-native environments. The ideal candidate will have strong expertise in infrastructure automation, backend development, and monitoring platforms, with hands-on experience in Terraform, Python, FastAPI, OpenTelemetry, and Datadog.
This role will focus on building scalable observability frameworks, improving system reliability, and enabling proactive monitoring for critical applications and infrastructure.
Key Responsibilities
Infrastructure as Code (IaC)
ยทย ย ย ย ย ย ย ย Design, build, and manage scalable cloud infrastructure using Terraform.
ยทย ย ย ย ย ย ย ย Develop reusable infrastructure modules and maintain infrastructure provisioning standards.
ยทย ย ย ย ย ย ย ย Implement and maintain CI/CD pipelines to automate infrastructure and application deployments.
ยทย ย ย ย ย ย ย ย Improve deployment reliability through automation and infrastructure best practices.
Backend Development
ยทย ย ย ย ย ย ย ย Design, develop, and maintain RESTful APIs using Python and FastAPI.
ยทย ย ย ย ย ย ย ย Build backend services that support observability workflows, telemetry processing, and integrations.
ยทย ย ย ย ย ย ย ย Optimize services for performance, scalability, reliability, and maintainability.
ยทย ย ย ย ย ย ย ย Troubleshoot application and API performance issues.
Observability & Monitoring
ยทย ย ย ย ย ย ย ย Design and implement observability solutions using OpenTelemetry for distributed tracing, metrics, and logging.
ยทย ย ย ย ย ย ย ย Configure and maintain Datadog dashboards, monitors, alerts, and Service Level Objectives (SLOs).
ยทย ย ย ย ย ย ย ย Develop monitoring strategies to improve system visibility and reduce incident response times.
ยทย ย ย ย ย ย ย ย Analyze telemetry data to identify performance bottlenecks and reliability issues.
ยทย ย ย ย ย ย ย ย Establish alerting thresholds and monitoring standards to support production operations.
Required Skills & Qualifications
ยทย ย ย ย ย ย ย ย Degree in Computer Science, Engineering, or related field (or equivalent practical experience).
ยทย ย ย ย ย ย ย ย 10+ years of experience in cloud infrastructure, software engineering, or observability engineering.
ยทย ย ย ย ย ย ย ย Strong hands-on experience with Terraform and Infrastructure as Code practices.
ยทย ย ย ย ย ย ย ย Proficiency in Python and backend API development using FastAPI.
ยทย ย ย ย ย ย ย ย Experience implementing observability frameworks using OpenTelemetry.
ยทย ย ย ย ย ย ย ย Strong experience with Datadog, including dashboards, monitors, alerting, and SLO management.
ยทย ย ย ย ย ย ย ย Solid understanding of distributed systems, cloud-native architectures, and microservices.
ยทย ย ย ย ย ย ย ย Experience with CI/CD tools and deployment automation.
ยทย ย ย ย ย ย ย ย Strong troubleshooting, analytical, and problem-solving skills.
Preferred Qualifications
ยทย ย ย ย ย ย ย ย Experience with cloud platforms such as AWS, Microsoft Azure, or Google Cloud.
ยทย ย ย ย ย ย ย ย Knowledge of container orchestration platforms such as Kubernetes.
ยทย ย ย ย ย ย ย ย Familiarity with logging and monitoring tools such as Prometheus, Grafana, or Splunk.
ยทย ย ย ย ย ย ย ย Experience supporting high-availability production environments.
- Must Have & Desired Skills:ย โข 10+ years of experience in cloud infrastructure, software engineering, or observability engineering.
โข Strong hands-on experience with Terraform and Infrastructure as Code practices.
โข Proficiency in Python and backend API development using FastAPI.
โข Experience implementing observability frameworks using OpenTelemetry.
โข Strong experience with Datadog, including dashboards, monitors, alerting, and SLO management.